orangeitems’s diary

40代ITエンジニアが毎日何か書くブログ

GMOコインのシステムトラブル（2018/11/25）

IT・情報技術 システム障害 仮想通貨

f:id:orangeitems:20181125102232j:plain

 

現象

2018/11/25 6:30AMごろ～9:40AMごろ、GMOコインにおいて、システムエラーを伴い一切の注文ができない状態となった。

※9:30AM～9:40に緊急メンテナンス実施

9:40AMごろに回復した。

 

時系列

ここ最近連日下落が続いているビットコインですが、本日(2018/11/25)6:00ごろに急に出来高を伴って410,000あたりを目指して急落を始めました。

 

f:id:orangeitems:20181125092511j:plain

 

その直後の6:30ごろ、最近広告をよく見るようになったGMOコインにて約定ができなくなるという状況が起きたようです。

 

 

 

 

502 bad gatewayは、ロードバランサーやプロキシサーバーでよくみられるエラーで、振り分け先が応答を返せない場合に発生するエラーコードです。

取引が急増したタイミングでサーバーの負荷が想定以上に高まり、リソースを使い果たしたように外観上は見えます。

（指値注文等が重なっていたためでしょうか・・？）

 

この状況が9:00ごろになっても改善されず・・。ブラウザからはシステムエラーを返していたようです。

 

 

 

 

9:30ごろに、緊急メンテナンスに入りました。

 

 

ブラウザから見ると以下のようなページが出力されます。

f:id:orangeitems:20181125093850j:plain

 

ただ、この件はニュース欄には何も表示されていない状況です。

 

f:id:orangeitems:20181125094145p:plain

https://coin.z.com/jp/

 

9:40ごろ復旧しています。

 

確かにログインできることを確認できました。

 

f:id:orangeitems:20181125100311j:plain

 

その後、ニュースにも今回の件が表示されました。

 

f:id:orangeitems:20181125101729j:plain

当社サービスご利用についてのお知らせ | GMOコイン株式会社

 

原因調査が発表されましたら本記事も更新したいと思います。

 

システム障害時のGMOコインの対応

3時間余り取引できない状態だったのですが、特に相場が大きく動いていた状況だったため事後処理が大変だと思われます。

 

support.coin.z.com

 

本ページを見る限り、

・発注していたのにシステム障害にて約定していなかった場合は、その時点のレートにてGMOコインが約定を保証する。

・発注行為が確認できない場合は保証しない。

・件数が多すぎる場合は、ロールバック、つまり障害発生時点の状態に全口座を巻き戻す。

と書いてあるように見えます。今回はもう復旧しているのでロールバックということはないかと個人的には思います。

なお、システムエラー中に発注しようとしても、サーバー側には発注情報は残っていません。46万あたりから42万へ急に落ちましたのでその途中で成行で注文したかったという人がいても不思議ではありません。しかし、

 

なお、システム障害時において、当社にて発注の事実（受注行為）を確認することができなかった注文に係る損失、および約定通知の遅延等によりお客さまが発注する機会を逸した場合の損失（機会損失）につきましては、本来約定したであろう時刻および価格を特定できず、損失額の算定ができないため、損失を補填することはできません。

 

という文が最後にあり、機会損失は補填しないという契約のようですね。

また、緊急メンテナンスを10分行って回復していることから、6:30の事象発生後もっと早く対処できなかったのか、について説明が求められそうです。金融システム、特に24時間動かすことを前提とする仮想通貨取引所／FXのシステムは本当に運用設計が難しいです。日曜の6:00AMなんて、普通の技術者は一番眠りが深い時間帯・・ではないでしょうか。24時間365日、シフトを組んで障害対応できる技術者を張り付けておく・・かなり費用のかかる体制を組まないと即時対応は実現できません。3時間の復旧というのは通常のシステムならば遅くはないのですが・・。