orangeitems’s diary

クラウドではたらくエンジニアの日々の感想です。

楽天カードでシステムトラブル、一部で買い物などできず。を考える。

f:id:orangeitems:20180303162041j:plain

 

楽天カードのトラブル

www3.nhk.or.jp

楽天によりますと、1日午後11時50分ごろからシステムトラブルが起き、一部の顧客がクレジットカードで買い物できない状態になっています。
トラブルで先月分の口座振替の情報が正しく入力されていないため3月分の利用額がゼロの状態に戻らず、限度額を超えていると見なされて買い物できなくなる利用者がでているということです。
このほか、クレジットカードを使った借り入れの「キャッシング」機能や、カードの利用状況などを確認するスマートフォンのアプリ、会員用のWEBサイトも一部利用できなくなっているということです。

 

ということで、楽天カードのホームページを確認しました。

www.rakuten-card.co.jp

こちらは報道の通りですね。

なお、サイバー被害やお客様情報の漏えい等の事象はございません。

ということで、一安心。

 

考察

楽天カード・・・システム・・・、何か頭の片隅にあったと思って引き出しました。そういえば、去年2017年7月に、オラクルにシステム刷新していたのでした。

corp.rakuten.co.jp

楽天カードの新基幹システムは、異なる事業者のソフトウェアやハードウェアを柔軟に組み合わせることができるオープンシステムとなっています。従来のメインフレーム(大型汎用機)の構成では難しかった、複数人による同時のプログラム編集が可能となったほか、周辺システムも含め、プラットフォームやアーキテクチャ、開発言語を統一することで生産性を飛躍的に高めることができるようになりました。

 とあります。メインフレームからの置き換えなんですね。メインフレームはベンダーの収益源みたいに言われ、レガシーとも言われ、逆風が続いていますが堅牢性に利はあると思います。IBMもメインフレームはやめていませんしオープン系の方が優れているという議論はうがった見方のような気がします。国内ベンダーがメインフレームをやめたがっているのは別にして。

 

自社管理のデータセンター内にOracle Cloud環境を配置するサービス「Oracle Cloud at Customer(オラクルクラウドアットカスタマー)」(注2)を採用しています。これにより、特定の処理を行う際の一時的な負荷増大時にも柔軟な対応が可能となり、急増する楽天カードの会員数(注3)と取引件数に対する処理能力を一層強化し、会員および加盟店に、長期的により安定した取引環境を提供します。

今回のトラブルが、Oracle Cloudが起因しているものかどうかはわかりませんが、どうにも今回の件とは絡んでいる気がします。月初バッチは負荷がかかりますからね。なお、Oracle Cloud at Customerとはパブリッククラウドではなく、お客様のデータセンターにOracleが資産を置き、Oracleが保守をし、料金体系はクラウドに近いというタイプのサービスです。もしこの環境上のトラブルであれば、Oracleは大騒ぎしているはずだと思います。

 

処理性能を落とさない工夫として、Cloudera株式会社の支援のもと「Apache Spark(アパッチスパーク)」を導入し、バッチの分散処理を平易に実現できるようにしました。

これも絡んでそうだなあ。。

Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)

こういう資料を見ると、なんとなくどういうものが動いているのか感覚がつかめるのですが、バッチ処理が激速ということは、エラー処理で止まったときに解析しなければいけない量も激増。分散処理だからそうですよね。そこにOracleも重なってくるのでなかなか厳しいなあという感想です。

 

今回の推測ですが、年末のニコスカードのような単純ハードウェア障害ではなく、アプリとインフラの絡んだバッチ系のトラブルの雰囲気です。

「二重引き落とし、他社カードでもニコス障害Q&A 」を考える - orangeitems’s diary

 

結果報告を待って、答え合わせをしたいと思います。

※わたしは一応楽天カードは持ってるけど、メインではないので大きなトラブルはなかったです。

※楽天スーパーセールは今日3/3 19:00かららしいですが、もろに影響受けそうですね・・。

f:id:orangeitems:20180303164600p:plain

【楽天市場】楽天スーパーSALE│半額以下アイテム100万点!お得いっぱいの103時間!

 

続報はこちら

楽天カード、システムトラブルの余波続く - orangeitems’s diary