orangeitems’s diary

クラウドではたらくエンジニアの日々の感想です。

携帯電話がダウンした運用担当者の夜を考える

f:id:orangeitems:20181206224641j:plain

 

モバイル通信網が止まると何が起こるか

今日のソフトバンク通信障害の件は仕事には全く影響なかったのですが。インフラエンジニアとしてはかなり血が騒ぎました。絶対使える必要があるシステムが4時間半止まった、という状況はとても深刻な状況です。日中だったため、世間をよく観察して何が起きるかをつぶさに見ていました。

スマホとキャリアに両方に依存したサービスは全滅で電子チケットはソフトバンクユーザーは全く使えない状態になっておりました。クレジットカードは電気や電波なしで運用できるのでやはり強いなあと思った次第です。

また、困ったのはソフトバンクユーザーだけではなく、取引先や知り合いに連絡が取れなくなって困ったドコモ/AUユーザーもいらっしゃったようです。

一方で私と同じようにこの状況を観察してらっしゃる方も多く、日本人はこのような天変地異的なイベントには強い地域性があると認識しています。

 

もし夜間だったらどうか

さて、私は原因等々にはそこまで興味がありません。今回はソフトバンクだけ。しかも日中に発生し夕方に解決しましたのでまだ人力で何とか出来た状況だと思います。私が一番危惧するのは、夜間に類似の問題がたまたま自分のキャリアで発生した時です。

いろんな企業で、夜間のシステム障害対策を運用設計していると思いますが、だいたいが電話連絡がトリガーになっています。24時間シフトで運用ルームを持っていたとしても有識者が24時間常駐することは稀で、オペレーターが気が付き有識者にエスカレーションするのがよくある設計です。

さて、夜間、電波が何らかの理由で通じないとします。するとエスカレーションルートが全て切断されます。システム障害が起きても関係者につながらない。これは最悪です。ただただ時間が過ぎるばかりでこれはまずい状態です。しかし、運用設計において携帯電話が通じない前提をしている場合はほぼないと言っていいと思います。例えば宇宙人が地球を侵略することや、日本全土が停電することなどは想定しないでしょう。想定しないのは悪なのではなく、想定を決めるのが設計です。

少なくとも電話は通じるとして、電話を鳴らすことで夜は起きて対応する。電話が鳴るということは重要なことが起きている。これが運用担当者の肌感覚であり、メールなどは絶対に寝ているときはきがつきません。少なくとも私の感覚では電話が全てです。

 

どうやって重要障害に気が付くか

さて、携帯の通信が通じないとして、どうやって障害に気が付くべきでしょう。スマホは往々にして自宅のWifiにはつながっていると思いますので、このインターネット接続を活かすしかないと思います。おやすみモードをオンにしているとメールやチャットの通知がなくなりますのでこれはオフにしなければいけません。かつ、なんでもかんでも通知をオンにすると、例えば夜中に迷惑メールが来てこれに着信音を付けたら、発狂してしまいます・・。おそらくメールによるエスカレーションというのは、実際やってみると結構大変だと思います。AndroidのGmailは、ラベルごとに通知設定をカスタマイズできるのですが、iPhoneのGmailはそれができません。何でもかんでも通知するので、おやすみモードで通知を消すのですが、大事な大事なアラートだけは通知して、なんて要望には応えてくれません。AndroidのGmailは進化しているなあと思ったものですが、日本では汎用的な方法ではないと思います。

可能性を感じるのは、Slackのモバイル通知でしょうか。

 

get.slack.help

デスクトップとモバイルの両方で、特定のチャンネルや DM の通知を設定できます。通知が届くタイミングを選択することも、すべての通知をミュートにすることもできます。

 

エスカレーション専用のチャンネルを作って、そこに監視システムからアラートを突っ込んでメッセージを送り、着信したら盛大に着信音がなるように設定しておく。

他のチャットシステムでもサポートされているかもしれませんが、少なくともSlackではこれをサポートしていそうです。電話もSlackもWifiも落ちているなんて瞬間は想定してもしようがないかな・・と。{電話 OR (Wifi AND Slack)}という条件のもと、夜間のエスカレーション対策を考えればいいのかなと思った今日の通信障害でした。

おそらく、日中にドコモで起こったとしたら、「ドコモが復旧するまで24時間誰か会社に泊まり込みせい」とか言い出しそうな無茶な人も出てきそうなので、今のうちから自衛策は練っておいた方がいいと思います。携帯が通じなくても、夜中気づけますよ、と。