ここ最近、想定外の障害が続いています。 この土日でやっと落ち着いた感じです。 本当に毎日毎日毎日、想定外が発生しました。 落ち着いているときは一か月単位、いや、季節単位、年単位で落ち着いているのに、なぜかこの数週間、驚きの想定外です。 先週は…
障害発生 なーんでこんな時に、と思うときに起こるのが障害です。 まさに今日、降りかかってきました。とんでもないヤツが。 で、内容はヒミツですが、まあ言葉にならないぐらい大変です。 クラウドだから、テレワークでも十分対応できるよね、と皆思います…
https://point.recruit.co.jp/ リクルートIDにトラブル発生 2020/3/2 16:30現在、リクルートIDに何らかのトラブルが発生しているようで、緊急メンテナンスを実施しているそうです。 ※18:00ごろに復旧したっぽいです。 ユーザー判別にリクルートIDを利用して…
システム監査の勉強中です 情報処理技術者試験ですが、まだIPAが予定通り2020/4/19に行うと言っているので、ここはまだ予定通り実施する体で準備をするべきだと思います。延期や中止があっても、試験自体はいつか行われますから、決して損にはなりません。 …
そこでベンダー名出すかな 本当に住友SBIネット銀行って日本IBM嫌いなんだろうな・・と思う。 mainichi.jp 住信SBIネット銀行は23日、振り込みや残高照会などほぼ全ての取引が一時できなくなるシステムトラブルが起きたと明らかにした。日本IBMのデータセン…
システムトラブルの概要 無印良品の各サイトについて、昨年の年末年始から雲行きが怪しいことは存じ上げていましたが先週あたりからメディアにまで記事が出始めていました。 tech.nikkeibp.co.jp 同社広報によると、もともと2019年12月31日午前0時から通販サ…
金融系システムの重み 金融系システムは社会的に重要な役割を担っていて、その責任は重大・・ということはわかるんです。 togetter.com というのは私も4年ほど金融系システムに関わったことがあって、現場がどれくらい真摯にシステムの安定運用に携わってい…
障害原因検討はミルクボーイか うム、確かにな・・。 とこのツイートをみて思いました。 ミルクボーイ話法は障害原因検討時によく使う。A:「サーバのメモリ使用量が時間経過とともに増大していきます」B:「それはメモリリークだなぁ」A:「でも改修したアプリ…
システム障害は何からもたらされるか システム運用エンジニアに長く従事していると、システム障害は必然によって引き起こされる部分も数多くある、ということを感じます。 もちろん、偶然による部分も否定できませんが、偶然偶然言っていたらいつまでも幸せ…
京都市の件 京都市の基幹システム刷新が、またもや暗礁に乗り上げているようです。 tech.nikkeibp.co.jp 京都市はNEC製メインフレーム上で約30年稼働する基幹系システムのバッチ処理をオープンシステムに刷新するプロジェクトにおいて、サブシステムの1つで…
ホスティングサービスでのトラブル サーバーのホスティングサービスを提供することについて、事業者側の大変さは経験上分かっています。 分かったうえで、この文書のことを考えてみます。 qiita.com さくらで専用サーバーを１０年ほど利用しています。単体の…
”バックアップが取得出来ていなかった” インフラエンジニアとしては身につまされる話。 tech.nikkeibp.co.jp 日本電子計算は2019年12月16日、自治体向けIaaS「Jip-Base」を利用中の自治体でシステム障害が発生している問題について記者会見を開き、山田英司…
続報 ストレージはユーザーのデータやアプリケーション／OS自体を保持している、システムの中での最重要部分です。 2019/12/11現在まだ解決していない、50自治体システム障害はまさにこのストレージを動かしているファームウェアが原因と聞いています。 この…
なぜ復旧しないのか こちら、有名なニュースですが・・。 tech.nikkeibp.co.jp 2019年12月4日に発生した50自治体のシステム障害は、発生から6日目になる2019年12月9日午前10時の時点でまだ全面復旧に至っていない。原因となった日本電子計算のIaaS「Jip-Base…
ある夜起こったどこかの会社の話 夜も更けた午前3時半ごろの思い出。 オンプレミスでの仮想基盤。いくつものシステムが動いていたのですが突然、この時間に複数のシステムエラーを感知。 電話で連絡が来るようになっていたのですが、あっちもこっちもそっち…
32768時間後に爆発する時限装置 一読して戦慄した記事。 pc.watch.impress.co.jp Hewlett Packard Enterprise(HPE)が11月29日に公開したサポート文書によれば、同社のサーバーやストレージ製品に使われている特定のSAS SSDにおいて、稼働時間が32,768時間を…
Netflix障害中 Netflixが障害中です。 Downdetectorによれば、今日（2019/11/21）の22:55ごろから発生し継続しています。 https://downdetector.jp/shougai/netflix/ https://downdetector.jp/shougai/netflix/mappu/ 「Cannot play title. Please try again…
Office 365、二日連続で障害 Office 365の障害が二日連続で発生し、ニュースになっていますね。 www.itmedia.co.jp 米Microsoftは11月19日午後9時35分（日本時間）、同日昼頃から障害が起きていた「Office 365」のメール機能が復旧したと発表した。 internet…
東証「arrowhead」システム更新の話 オンプレミスで苦闘するのが当然だったころのインフラエンジニアの現場は傭兵が集う戦場のような張り詰めた雰囲気があったのを思い出しますが、クラウド全盛の時代にもなおそんな現場があるんだと感心した記事です。 tech…
ラブプラス EVERYのメンテナンスが長期化 ラブプラス EVERYがサービスイン後に緊急メンテナンスとのニュースを聴き、「これは長期化するな」と思ったものですが。 そんなにすぐ治りそうなバグに見えない。「ラブプラス EVERY」、問題解決のため連休ぶち抜き…
はじめに さっきまで障害と言うか、不具合の調査をやっていました。 もうこの世界に随分長くいるので、多分原因はアレでコレでと当たりをつけてやったものの全然当てはまらず、調査は長期化し、まだまだ学び足りないな・・と反省しきりです。 たくさんの人が…
sudoってヤバいの？ 久々にセキュリティーネタでびっくりしましたよ。 japanese.engadget.com Linuxのsudoコマンドに、本来root権限をとれないユーザーがそれを奪取できるようになる脆弱性が発見されました。この脆弱性を突けば、sudoを利用する際の権限設定…
「送り状発行システムB2クラウド」障害を振り返る 先週、ヤマト運輸がビジネス顧客向けに自社インフラ基盤で提供している「送り状発行システムB2クラウド」が3日間ほどアクセスしにくくなる障害が起こっていました。 www.itmedia.co.jp ヤマト運輸は9月27日…
システム運用と障害対応 システム運用の仕事をすると避けて通れないのが障害対応です。あのコンピュータというものは絶対壊れない、ずっと同じことができる、という顔をしているのに突如、異常な動作をするのですから困ったものです。最近は要素技術もどんど…
システムトラブル38年史 私も有料購読している日経xTECHにかなりためになる記事が掲載されています。 tech.nikkeibp.co.jp IT黎明（れいめい）期の1980年代からまだ記憶に新しい2010年代まで、全1176件の「動かないコンピュータ」を振り返る。年代ごとの主な…
台風による停電と、データセンターへの影響 先日の関東を襲った台風について、特に千葉県中心に大きな被害となっておりまだ社会インフラが復旧していない模様です。もう数日経過しており住民の方は大変な思いをされていると思います。 千葉県といえば、千葉…
十年前のクラウド 十年前はクラウドなんて色物と思われていましたし、データセンターと物理サーバービジネスは百年とは言いませんがひとまずしばらくは終わらないと言う雰囲気でした。 ところが風向きが変わったのが東日本大震災です。私も東京の中心にたま…
Windows Updateがインターネットを詰まらせる Windows Updateが引き金となってインターネットが詰まる現象が起きてるらしいですね。 tech.nikkeibp.co.jp NTTコミュニケーションズは2019年8月29日、インターネット接続サービス「OCN」など一部サービスにおい…
AWS、マルチAZでも障害影響ありを認める 先週のAWS障害から一週間が経とうとしています。 特定のアベイラビリティーゾーンの特定データセンターにおける冷却機構の問題だったため、マルチAZ構成を組んでいたら障害は回避できたのだというのが第一報での論調…
AWSの障害報告を意訳してみた AWSの2019/8/23に東京リージョンで発生した障害の報告書がAWSより提示されています。このままではエンドユーザーに出しづらいと思いますので、日本の障害報告書っぽい体裁にまとめてみました。 内容については保証いたしません…
