orangeitems’s diary

クラウドで働くインフラエンジニアの日々の感想です(ほぼ毎日更新)。

想定外の障害に取り組んで気が付いたこと

f:id:orangeitems:20200620233422j:plain

 

ここ最近、想定外の障害が続いています。

この土日でやっと落ち着いた感じです。

本当に毎日毎日毎日、想定外が発生しました。

 

落ち着いているときは一か月単位、いや、季節単位、年単位で落ち着いているのに、なぜかこの数週間、驚きの想定外です。

先週は、日勤の後、夜間作業。そして想定外発生で完全に徹夜。そのあともダラダラ仕事するという状況。なぜだかブログ投稿は欠かしませんでしたが(意地)。

 

で、この前の想定外はひどかった。

詳しくは話しませんが、もともと壊れかけていたOSだったのが、そもそもサービス自体が起動しなくなった。

時間は限られている。朝までに回復させなければいけない。

最終的に、何とかリカバリーし大事には至りませんでしたが、マジで大障害になる5秒前と言った様子の出来事でした。

忘れないうちに、その時の心理状態を思い出しておきます。

 

①時間が湯水のように過ぎる

ふと気が付くと夜中の二時。これはまずい、この方法を取ろう。

いやまずい、この方法はふさわしくなかった。ではあの方法、時計を見ると三時。

ああ、それでもまずかった。最後の手段だ。そしてもう四時。

なんとかうまくいった。それでは仕上げだ、と思ったらアレがおかしい、コレがおかしい。今何時だ、五時いや六時。

予定は大幅に過ぎてしまった、でももう少し頑張ればなんとか動く・・よし!、そして七時。

こういうとき、ものすごい集中力が出て、眠気なんてありません。

命を懸けて問題に取り組みます。

時間との戦いをやると、時間が速く過ぎる。もっと時間が欲しいときほど時間は速くすぎていく。

 

②うまく行かないときには格闘せず避ける

こうやって、こうやれば、リカバリーできる。

始めに道筋を立てて、問題に取り組みます。

しかし、だいたいその道筋通りに行きません。どこかで大岩が立ちはだかっています。

ここで、大岩と格闘してはいけません!。

私は今回、何度か大岩に会い、最終的には迂回して全然別の道を行くことによって、なんとか解決にこぎつけました。

しかし、大岩と何回か戦いかけました。なんでこの岩はくだけないのだろう。

振り返ってみると、その岩を一度も砕きませんでした。全部避けています。

急がば回れ。

はじめから回っていればもっと楽だったなと思いますが、技術者の意地もあってなかなか難しい判断となります。

大げさで朴訥だけどストレートな回避方法が、一番の方法だと思います。

 

③急いだ先には穴の一つや二つ必ずある

ものすごい集中力でなんとかリカバリーした結果、難局を乗り切ったとします。

しかし、数時間後、動きがおかしい。

なぜだ?。試験はパスしたのに・・。

結果的に一つだけ設定が抜けていました。

これ、多分に100点でリカバリーできることは、多分ありません。

手順書も無しで、時間制限ありで、そして完璧に仕上げなければいけない。

そんな中で最終的に仕上げたそれは、未完成品になるべくしてなります。

もしそれで問題が一つもないのなら、普段の構築作業はもっと手早くできるはずです。

思い知ります。非常時に出る力は、パーフェクトではないと。

これは覚悟しなければいけないと思います。

 

④技術力がつく(もしくはつぶれる)

先に、ものすごい集中力、と書きました。

普段は調査し、考察し、手順を作り対処します。

しかし、想定外の際は違います。調査と考察と手順をリアルタイムに短時間で繰り返していきます。

この心理状態のときに学んだことは、おそらく一生忘れません。

それぐらいの非常時の脳は、学習能力も活発化します。

私は、修羅場の数は、人間を成長させると思います。一方で、そこでつぶれてしまう人も見たことがあります。

修羅場は、できる限りゼロにすべき事象です。

それでも避けられない修羅場があり、その当事者になり、それを切り抜けられたとします。

結果、何にも代えがたい経験と技術を身に着けられます。

細胞レベルで身に着きます。

でも、万人にはお勧めしない勉強法です。これで何人も辞めていった人がいます。

ただ、私を支えているのは、こういった経験の積み重ねであり、事実として述べておきたいと思います。

 

⑤当事者にしかその重大さはわからない

いやー、ほんと、どれもこれも大変で、危険で、対処しているときはこれで私も終わりかなぐらいも思いました。

でも、何とか終わらせてみると世の中は平和に戻っています。

誰も多分、片づけた問題のヤバさは理解していません。

多分わかっているのは、当事者だけなんだろうなと、毎回思います。

 

 

とうことで、想定外の障害に取り組んで気が付いたこと。

①時間が湯水のように過ぎる
②うまく行かないときには格闘せず避ける
③急いだ先には穴の一つや二つ必ずある
④技術力がつく(もしくはつぶれる)
⑤当事者にしかその重大さはわからない

この5つです。

まだ修羅場を経験していない人は、この5つをぜひ頭に入れておいていただきたいです。経験したことのある人にとっては、あるある、かもしれません。