システムトラブルの概要 無印良品の各サイトについて、昨年の年末年始から雲行きが怪しいことは存じ上げていましたが先週あたりからメディアにまで記事が出始めていました。 tech.nikkeibp.co.jp 同社広報によると、もともと2019年12月31日午前0時から通販サ…
金融系システムの重み 金融系システムは社会的に重要な役割を担っていて、その責任は重大・・ということはわかるんです。 togetter.com というのは私も4年ほど金融系システムに関わったことがあって、現場がどれくらい真摯にシステムの安定運用に携わってい…
障害原因検討はミルクボーイか うム、確かにな・・。 とこのツイートをみて思いました。 ミルクボーイ話法は障害原因検討時によく使う。A:「サーバのメモリ使用量が時間経過とともに増大していきます」B:「それはメモリリークだなぁ」A:「でも改修したアプリ…
システム障害は何からもたらされるか システム運用エンジニアに長く従事していると、システム障害は必然によって引き起こされる部分も数多くある、ということを感じます。 もちろん、偶然による部分も否定できませんが、偶然偶然言っていたらいつまでも幸せ…
京都市の件 京都市の基幹システム刷新が、またもや暗礁に乗り上げているようです。 tech.nikkeibp.co.jp 京都市はNEC製メインフレーム上で約30年稼働する基幹系システムのバッチ処理をオープンシステムに刷新するプロジェクトにおいて、サブシステムの1つで…
ホスティングサービスでのトラブル サーバーのホスティングサービスを提供することについて、事業者側の大変さは経験上分かっています。 分かったうえで、この文書のことを考えてみます。 qiita.com さくらで専用サーバーを１０年ほど利用しています。単体の…
”バックアップが取得出来ていなかった” インフラエンジニアとしては身につまされる話。 tech.nikkeibp.co.jp 日本電子計算は2019年12月16日、自治体向けIaaS「Jip-Base」を利用中の自治体でシステム障害が発生している問題について記者会見を開き、山田英司…
続報 ストレージはユーザーのデータやアプリケーション／OS自体を保持している、システムの中での最重要部分です。 2019/12/11現在まだ解決していない、50自治体システム障害はまさにこのストレージを動かしているファームウェアが原因と聞いています。 この…
なぜ復旧しないのか こちら、有名なニュースですが・・。 tech.nikkeibp.co.jp 2019年12月4日に発生した50自治体のシステム障害は、発生から6日目になる2019年12月9日午前10時の時点でまだ全面復旧に至っていない。原因となった日本電子計算のIaaS「Jip-Base…
ある夜起こったどこかの会社の話 夜も更けた午前3時半ごろの思い出。 オンプレミスでの仮想基盤。いくつものシステムが動いていたのですが突然、この時間に複数のシステムエラーを感知。 電話で連絡が来るようになっていたのですが、あっちもこっちもそっち…
32768時間後に爆発する時限装置 一読して戦慄した記事。 pc.watch.impress.co.jp Hewlett Packard Enterprise(HPE)が11月29日に公開したサポート文書によれば、同社のサーバーやストレージ製品に使われている特定のSAS SSDにおいて、稼働時間が32,768時間を…
Netflix障害中 Netflixが障害中です。 Downdetectorによれば、今日（2019/11/21）の22:55ごろから発生し継続しています。 https://downdetector.jp/shougai/netflix/ https://downdetector.jp/shougai/netflix/mappu/ 「Cannot play title. Please try again…
Office 365、二日連続で障害 Office 365の障害が二日連続で発生し、ニュースになっていますね。 www.itmedia.co.jp 米Microsoftは11月19日午後9時35分（日本時間）、同日昼頃から障害が起きていた「Office 365」のメール機能が復旧したと発表した。 internet…
東証「arrowhead」システム更新の話 オンプレミスで苦闘するのが当然だったころのインフラエンジニアの現場は傭兵が集う戦場のような張り詰めた雰囲気があったのを思い出しますが、クラウド全盛の時代にもなおそんな現場があるんだと感心した記事です。 tech…
ラブプラス EVERYのメンテナンスが長期化 ラブプラス EVERYがサービスイン後に緊急メンテナンスとのニュースを聴き、「これは長期化するな」と思ったものですが。 そんなにすぐ治りそうなバグに見えない。「ラブプラス EVERY」、問題解決のため連休ぶち抜き…
はじめに さっきまで障害と言うか、不具合の調査をやっていました。 もうこの世界に随分長くいるので、多分原因はアレでコレでと当たりをつけてやったものの全然当てはまらず、調査は長期化し、まだまだ学び足りないな・・と反省しきりです。 たくさんの人が…
sudoってヤバいの？ 久々にセキュリティーネタでびっくりしましたよ。 japanese.engadget.com Linuxのsudoコマンドに、本来root権限をとれないユーザーがそれを奪取できるようになる脆弱性が発見されました。この脆弱性を突けば、sudoを利用する際の権限設定…
「送り状発行システムB2クラウド」障害を振り返る 先週、ヤマト運輸がビジネス顧客向けに自社インフラ基盤で提供している「送り状発行システムB2クラウド」が3日間ほどアクセスしにくくなる障害が起こっていました。 www.itmedia.co.jp ヤマト運輸は9月27日…
システム運用と障害対応 システム運用の仕事をすると避けて通れないのが障害対応です。あのコンピュータというものは絶対壊れない、ずっと同じことができる、という顔をしているのに突如、異常な動作をするのですから困ったものです。最近は要素技術もどんど…
システムトラブル38年史 私も有料購読している日経xTECHにかなりためになる記事が掲載されています。 tech.nikkeibp.co.jp IT黎明（れいめい）期の1980年代からまだ記憶に新しい2010年代まで、全1176件の「動かないコンピュータ」を振り返る。年代ごとの主な…
台風による停電と、データセンターへの影響 先日の関東を襲った台風について、特に千葉県中心に大きな被害となっておりまだ社会インフラが復旧していない模様です。もう数日経過しており住民の方は大変な思いをされていると思います。 千葉県といえば、千葉…
十年前のクラウド 十年前はクラウドなんて色物と思われていましたし、データセンターと物理サーバービジネスは百年とは言いませんがひとまずしばらくは終わらないと言う雰囲気でした。 ところが風向きが変わったのが東日本大震災です。私も東京の中心にたま…
Windows Updateがインターネットを詰まらせる Windows Updateが引き金となってインターネットが詰まる現象が起きてるらしいですね。 tech.nikkeibp.co.jp NTTコミュニケーションズは2019年8月29日、インターネット接続サービス「OCN」など一部サービスにおい…
AWS、マルチAZでも障害影響ありを認める 先週のAWS障害から一週間が経とうとしています。 特定のアベイラビリティーゾーンの特定データセンターにおける冷却機構の問題だったため、マルチAZ構成を組んでいたら障害は回避できたのだというのが第一報での論調…
AWSの障害報告を意訳してみた AWSの2019/8/23に東京リージョンで発生した障害の報告書がAWSより提示されています。このままではエンドユーザーに出しづらいと思いますので、日本の障害報告書っぽい体裁にまとめてみました。 内容については保証いたしません…
AWS東京リージョン障害 本日（2019/8/23）AWSの東京リージョン（AP-NORTHEAST-1）のあるゾーンにてEC2とRDSで障害が起こっており、こちらはマスメディア等で情報が出てくると思いますので事実についてはそちらにお任せします。 また、直撃を受けまだ復旧対応…
大阪市基幹システム障害の詳報 大阪市基幹システム障害の詳報が日経 xTECHにより報道されています。 tech.nikkeibp.co.jp 大阪市で住民票などの証明書発行業務を担う基幹システムが停止。復旧まで21時間を要し、8000件近い証明書発行業務に影響が及んだ。原…
はじめに 毎日のようにセブンイレブンを使っていて、7payが始まるのは知っていたのですが様子見していました。そうしたところ、不正利用の話が各所で炎上しています。状況を把握すべくこれまでに入っている情報をまとめます。 メディア記事 2019/7/3 19:08 I…
Cloudflareの度重なる障害 2019年7月2日 22:52（日本時間）から23:50まで、CDN大手のCloudflare社のサービスが停止し、広範な影響が発生しました。 jp.techcrunch.com アップデート：Cloudflareの共同創設者かつCEOのMatthew Prince氏は、現在起きている状況…
シーサイドラインの逆走 神奈川県横浜市のシーサイドラインという鉄道で電車が逆走してしまった件。普通の鉄道事故とは種類が異なるように思います。 www.kanaloco.jp １日午後８時１５分ごろ、横浜市磯子区の新交通システム「シーサイドライン」の新杉田駅…
