orangeitems’s diary

クラウドではたらくエンジニアの日々の感想です。

アップデートする、アップデートしない、どうする日本の運用設計

 

f:id:orangeitems:20180727115034j:plain

 

 

福井県の総合行政情報システムで長期間の障害

ツイッターで知ったのですが、福井県の総合行政情報システムにて、ソフトウェアアップデートを行ったところ通信障害が発生し、5日間経った今でも一部影響が残っているそうです。

 

行政システム障害、段階的に復旧 福井県内9市町、発生から5日目 | 政治・行政,社会 | 福井のニュース | 福井新聞ONLINE

福井県坂井市など9市町で同時システム障害、仮想化ソフト更新に失敗 | 日経 xTECH(クロステック)

福井県9市町の同時システム障害、5日目も影響続く | 日経 xTECH(クロステック)

 

xTECHの記事が最もわかりやすいのですが、内容としてはネットワーク仮想化基盤ソフトウェアの更新による影響と言う記載があります。また、システムを再構築したところ今度はストレージに動作不良が発生、とあります。

仮想化基盤の難しいところがダイレクトに発生しています。

 

パッチを適用したら・・

福井県の総合行政情報システムがどのようなソフトウェアで動作しているか確認してみたのですが、今一つしっかりした情報が見つかりませんでした。

記事には「ネットワーク仮想化基盤ソフト」という表現が目立ちましたが、VMwareで言えばVMware NSXが当たります。しかし、SDNまで概念を広げると各ベンダーでソフトウェアやアプライアンスがリリースされており、特定は不可能です。

さて、環境は不明ですが、この手の障害を防ぐためには方法は一つしかありません。

・全く同じハードウェア構成でステージング環境を構築し、事前にパッチ適用テストおよび動作確認を実施する。

ところが、ハードウェア構成までミラーリングしてステージング環境を整えてくれているシステムなど皆無です。例え用意していたとしても、冗長構成でなかったり、その上で動いているシステムが同一でなかったりします。そもそも入札段階で、ステージング環境をリッチにすると負けてしまいます。

ということで、インフラエンジニア、特に運用側はパッチの適用マニュアルを見て、ある程度は目をつぶって、えいやでアップデートしている現場もあるのかもしれません。

もしくは、問題がなければパッチは適用しない、というのも1つの方法です。むしろこの手法の方が日本のオンプレミスの世界では多いと思います。

社会的に有名になった脆弱性や、本番障害に実際につながった原因への対応としてはパッチを適用するけれども、ただ最新版がリリースされるからと言って適用はしない。という保守的なパッチ運用です。

インターネットのない閉じたシステムでは、このやり方でも吉かもしれません。しかしここ最近はインターネットとはどうやってもつながないとシステムが成り立たない状況となって来ています。

 

パッチを適用しないと・・

別のニュースですが、パッチを最新化しない運用への警告となる記事です。

www.itmedia.co.jp

大企業などが基幹業務の統合管理に利用しているERP(Enterprise Resource Planning)アプリケーションを狙ったサイバー攻撃が激増しているとして、米セキュリティ機関のUS-CERTが2018年7月25日、そうしたアプリケーションを運用している組織に警戒を呼び掛けた。

 

基幹システムであってもこれからはクラウドで運用、ということがどんどん進む時代に、運用設計は旧来と同じ、だとこのように、攻撃対象になりうるという趣旨です。

福井県のシステム障害にて積極的なパッチ適用が大型障害につながった件、パッチを適用しない基幹システムに攻撃の魔の手が迫っている件。両方を考えると、さて、今後の日本の運用設計はどちらの方向に進むのか、2018年の現在、分岐点に差し掛かっているように思えます。

積極的なパッチ適用を進めるならやはりそのテスト環境が重要ですし、そのためのコストをきちんと提案時に積んでおかないと、「えいやのパッチ運用」で大きな痛手を被ることになりそうです。

 

ステージング環境の重要性

コスト削減と安全性。いつの世も永遠の課題なのですが、ここにきてセキュリティーにかかるコストというものが、クラウド化が進めば進むほど重要になってくるのではないかと考えます。

社会におけるコンピュータシステムの重要性はますます上がってきており、運用時に重大障害・重大インシデントに発展しないようにしなければいけません。システム導入時にはクラウドであろうとオンプレミスであろうと、本番環境をミラーしたステージング環境は今後重要であり、この部分が欠落したシステムはそもそも設計ミスであることを認識することが、今後もっと重要になると思った一連のニュースでした。

 

 

「守り」から「攻め」に転換する システム運用完全ガイド(日経BP Next ICT選書)