orangeitems’s diary

クラウドで働くインフラエンジニアの日々の感想です(ほぼ毎日更新)。



音声合成で人間をごまかせる日は来るか

f:id:orangeitems:20190825091613j:plain

 

音声合成の現在地点はどこか

ディープラーニングをかじっていると、映像分野についてはかなりの実装ができています。顔認証はもう実用段階ですし、顔情報から新しく映像を作り出すことすらできます。VTuberの世界ではアニメーションが動くのですが将来的には架空の人物が動き出す方向に行くでしょう。技術の進化のベクトルは誰にも変えられません。

一方で、声の世界は明らかに映像よりは遅れています。音声合成の世界に革命を起こしたのは初音ミクの登場ですが、これは2007年です。実は現在のディープラーニングブームよりも前。歌はともかくしゃべらせるとたどたどしいし、声の種類も限界がある。VTuberも結局は声は人間がつけているし、映像と比べるとあまり進化はしていないのか、と思っていました。

が、日経に気になる記事を発見(日経は有料記事だったので、原文の日経xTECHの方を転載、こちらは無料で読めます)。

 

tech.nikkeibp.co.jp

テキスト情報から音声を人工的に生成する音声合成(テキスト音声合成、Text-to-Speech)技術が、幅広い産業に変化をもたらそうとしている。技術の進化に伴い用途が拡大しているほか、音声そのものや合成器(合成エンジン)を流通させる新しいビジネスモデルが登場したり、音声に関する権利の確立に向けた取り組みが始まったりしているのだ。

 

音声合成技術の現在地点を探ります。

 

実装例

今、音声合成を使いたいならと言う目線で事例を集めます。

 

ディープラーニングで自分の声を声優の声にする事例

blog.hiroshiba.jp

(背景)自分の声を結月ゆかりにしたい。前回はあまりクオリティが良くなかったので、手法を変えて質を上げたい。

(手法)声質変換を、低音質変換と高音質化の二段階に分けてそれぞれ学習させた。画像分野で有名なモデルを使った。

(結果)性能が飛躍的に向上し、かなり聞き取れるものになった。

(考察)精度はまだ改善の余地があり、多対多声質変換にすることで精度が向上すると考えられる。今回の結果を論文化したい。

 

qiita.com

『Yukarinライブラリ』yukarin, become-yukarin リポジトリで、自分の音声をターゲット音声に変換する手順を紹介する。

yukarin は become-yukarin の改良版リポジトリであるが、2019/06/24 現在、become-yukarin での学習データを必要が必要になる。

 

HOYAのデモサイト

voicetext.jp

音声合成の声優事務所は、喜怒哀楽の感情表現が可能になったVoiceTextのAI声優が所属する声優事務所です!お客様の望む声で感情表現豊かにお仕事します!

 

韓国のスタートアップMoneyBrain

japan.cnet.com

MoneyBrainは会話型AI技術を研究・開発する、高い評価を受けているスタートアップである。同社は2017年に金融業界向けの最初のAIチャットボットを確立し、2019年5月にはディープラーニングに基づく、人間の声のように自然な音声合成技術を公開した。同社の目標は、近い将来に可能な限り人間に近い会話が行えるAI技術を開発することである。

 

アメリカWellSaid

jp.techcrunch.com

「現在は、一人分のデータを処理するのに、およそ20時間かかっています。しかし、将来は、生身の人間と変わらない声の質を保ちながら、1時間から2時間で処理できるようになります」とPetrochuk氏は言う。

 

NTT

www.itmedia.co.jp

 NTTだけではなく、AppleやMicrosoftといった巨大ITベンダーも機械学習による音声合成に取り組んでおり、人工知能やロボットの普及によって、その需要は高まり続けている。地方ラジオ局でのニュース読み上げにも導入された例からは、労働力減少への対策になる可能性も感じられる。現在急速に音質が向上している音声合成だが、まだまだ進化の余地はあると鳥居さんは言う。

 「ある程度クリアな30分以上の音声をベースに、人間がチューニングを行わないと、質の良い声を再現できないのが、今の技術の限界です。将来的には、少し話した音声をベースに、自動的に質の良い似た声を作れるようになるでしょう。他にも、翻訳技術と組み合わせて、日本語を話した“その人”の声で、自動的に外国語が話せるようなことが実現する日も、案外遠くはないかもしれません」(鳥居さん)

 

AIアナウンサー

www.ai-announcer.com

AIアナウンサー「荒木ゆい」は、約10万件の実際にアナウンサーが読んでいるニュース音声を当社が開発した人工知能エンジン「Spectee AI」で機械学習し、 様々なニュースのシーンにおけるより人に近い自然な発音、アクセントやイントネーションを習得し、自動で原稿を読み上げるバーチャル・アナウンサーです。 これまでにテレビやラジオなど多数出演し活躍の場を広げています。

 

まとめ

情報を総合すると、ディープラーニングを使って音声合成を行うこと自体は実装できているけれども、インプットからアウトプットまでの時間がかかりすぎることが難題。例えばVTuberの音声をリアルタイムで別人に変えるようなことはまだできない。できていると標榜しているものもまだ、機械による音声だと言う印象は免れない。

ただ、今後の技術進化によってその時間はどんどん縮まる。それを目指している企業は世界中にあり、日々進化している。

と言ったところでしょうか。

映像系の進化を今年だけ見てもかなりブーストしたので、音声系もどこかで急激に進化するのでしょう。気になるのはオープンソース系の動きが弱いこと。・・なんて言っているとまたGAFAMあたりが画期的なOSSを出して話題になる、なんてことがありそうです。楽しみにしています。

 

クラウドは雲の中にあるんじゃない サーバールームで動いているんだ

f:id:orangeitems:20190824085631j:plain

 

AWS障害と物理層の関係

昨日のAWS障害、冷却装置の故障によりサーバーが高温となり自動停止したことが原因であったと報じられていますね。

 

japan.zdnet.com

 Amazon Web Services(AWS)の東京リージョンで8月23日に発生したElastic Compute Cloud(EC2)サービスの障害は、冷却システムの故障により高温化した一部のサーバーがシャットダウンされたことが原因だったという。同日午後9時までにEC2の大部分のサービスが復旧したとしている。

 AWSによると、障害は東京リージョンの一部で使用している複数の冷却システムが故障したことで発生した。これによってEC2サービスのサーバー機器の温度が上昇し、サーバーがシャットダウンされたことで一部のインスタンスやEBSボリュームに影響が生じたとしている。

 

冷却装置。クラウドを利用しているユーザーは最も聞きたくない言葉の一つだと思います。ソフトウェアの問題でも通信の問題でもなく、物理層の問題。クラウドという言葉は2006年に、Google社CEOのエリック・シュミット氏(当時)が言及したことで広がったと言われています。どこにあるかを意識しないがそこにある。雲のような存在。最近はAWSを含めクラウドは社会の信認を得て、物理サーバーの所有を止めてクラウドに持っていくことが最善であると言う風潮は強いです。

しかし、冷却装置、と言った途端に雲が急に晴れ、データセンター、そしてその中のサーバールームやサーバーラックと言った物理層が露出してしまうわけです。

クラウド以前は、企業がデータセンターを使う時は物理層まできちんとケアしていました。利用するデータセンターにわざわざ見学し設備やセキュリティー面まで目で見てチェックして納得して利用していました。また、年に一度は訪問するなどして環境のチェックも怠っていなかったと思います。

クラウドの場合、そもそもデータセンターが非公開です。その反面、たくさんの第三者による認証を受けることによりユーザーは物理層までチェックしなくていい。例えばAWSの場合、下記のページをご覧ください。こんなにたくさんのプログラムがあるのに驚かされます。

 

aws.amazon.com

 

政府もAWSを積極活用すると決めています。今回の問題を受けて、再度リスクチェックを行うはずです。

 

tech.nikkeibp.co.jp

政府は2020年10月に運用を開始する予定の「政府共通プラットフォーム」に米アマゾン・ウェブ・サービスのクラウドサービス「Amazon Web Services(AWS)」を採用する方針であることが分かった。日経 xTECHの取材に複数の政府関係者が明らかにした。

 

クラウドに持っていくと、物理層の問題から解放される。これは幻想です。どんなクラウドもデータセンターの中のサーバールーム、サーバールームのなかのサーバーラックで動いています。これは教訓です。物理層が存在する以上、物理的な問題で停止する可能性はどんなサービスであっても否定できません。

 

コンピュータと熱の関係

私も一度経験があります。

オフィスに出勤すると、社内システムにつながらない。いや、そもそも何だか体験したことのないニオイがする。そして特定の方向から熱風を感じる。その源を探してみたらサーバールームでした。サーバールームの空調が故障して部屋全体がサウナ状態に。異変に気付いた情シス部員がドアを全開にし、扇風機で熱を逃がす。その熱風とニオイがオフィスに流れていたのです。

サーバー機器たちは高熱を原因として自動停止していました。その時知ったのです。サーバー機器は自身が高熱を持っていると判断した場合は自動停止するのだと。ただ高熱をもった機器が百以上ありましたからいくら停止したといっても部屋全体の高熱は収まりません。火事一歩手前と言ったところでしょうか。サーバールームはホコリっぽいので高熱は危険です。

火災、もしくは煙が出ると、否応なく天井からスプリンクラーが水をぶっぱなします。その時はそうはならなかったのですが、もし水がでたらサーバー機器は全部おしまいです。壊れます。水をかけても平気なサーバー機器なんてどこにも存在しないでしょう。

それでもその際、物理サーバーはほとんど壊れなかったので、高熱による自動停止という機能は偉いなあと思ったものです。

この話、ユニークな話かなと思ったら、そうでもないみたいで別の方も違う会社で同じ状況になったことを聴いたことがあります。

他の方のブログにも発見。

 

blog.treedown.net

サーバルームのエアコンを止めるとこうなりますよ、という内容を実際に遭った昔話の形でご報告します。

 

昨日のAWS障害は、この話の延長上にあるということです。冷却システムの故障という物理層では致命的な状況が発生したにも関わらず、リカバリーできたということは物理機器がスマートに自動停止したということです。

 

クラウドに集中することがもろいのではない

最後に今日の日経の記事についてひとこと。

 

www.nikkei.com

米アマゾン・ドット・コムが運営するクラウドサービス「アマゾン・ウェブ・サービス(AWS)」で23日、大規模なシステム障害が発生し、影響は広範囲に及んだ。企業はコスト削減の一環で、自社でサーバーを導入する従来手法からデータセンターをインターネット経由で利用するクラウドにシフトしている。今回の大規模障害はクラウドに集中することのもろさを浮き彫りにした。

 

私はこの記事に反対意見を持っています。

「クラウド集中」がもろいのでは決してありません。

「集中」がもろいのです。

クラウドだってAWSだけではありません。Azure、GCP、IBM Cloud、Oracle Cloud、その他国内勢含めてたくさんサービスがあります。

AWS一社に集中、しかも東京リージョンにだけ集中すれば、同時大規模障害は発生しやすくなるのは自明の理です。だって、結局は同じ物理層の上で動いているのですから。今回一か所のデータセンターで発生したため、別のデータセンターも利用した構成。いわゆる「Multi-AZ(マルチアベイラビリティーゾーン)」構成にすれば問題を免れた可能性は指摘されています。しかし、必ずしもMulti-AZ構成なら問題はないというわけではないようです。

 

blog.hirokiky.org

このブログ記事で 「MultiAZ」にしていたら大丈夫という認識を変えられると嬉しいです (障害起こした人はちゃんとMultiAZにしてなかったんでしょ?という人の認識も変えられると嬉しいです)。

 

やはり、Multi-AZにしようがしまいが、同じクラウドサービスに集中させるとどこかにシングルポイントは存在するのだということを共通認識にしたいです。

昨日の記事でもお伝えしましたが、今年5月に起きたAzureのケースでは一か所のデータセンターではなく世界の複数のデータセンターで動くサービス全体が同時障害を起こしています。

マルチクラウドにすることで、物理層だけではなく運営・運用レベルで分散すること。クラウドだけではなくオンプレミスも活用してリソースを分散すること。

クラウドがもろいのではなく、集中がもろいのだということを主張したいと思います。

 

マルチクラウド時代のリスクマネジメント入門

 

AWS東京リージョン障害に思うこと

f:id:orangeitems:20190823173609j:plain

 

AWS東京リージョン障害

本日(2019/8/23)AWSの東京リージョン(AP-NORTHEAST-1)のあるゾーンにてEC2とRDSで障害が起こっており、こちらはマスメディア等で情報が出てくると思いますので事実についてはそちらにお任せします。

また、直撃を受けまだ復旧対応中の方、大変かとは思いますががんばってください。

 

tech.nikkeibp.co.jp

米アマゾン ウェブ サービス(Amazon Web Services)のクラウドサービス「Amazon Web Services(AWS)」の東京リージョンで2019年8月23日昼ごろ主要サービスに障害が発生した。同日午後3時時点で障害は続いているもようだ。スマホ決済サービスの「PayPay」など様々なサービスが使いにくい状態になっている。

 

私自身はAWSを直接使っていないのですが、クラウドに軸をおいたインフラエンジニアが本業ということもあり、感想をまとめておきます。

 

原因は何だろう

とにかくたくさんのサイトが影響を受けているようで、ツイッターにはたくさんのシステム障害情報があふれています。AWSをWebシステムとして使っているサイトはまだWebやアプリが見られなくてわかりやすいですが、基幹システムとして使っている企業もあるでしょう。また、影響を受けるシステムに連携している別のシステムもあるでしょうから、影響は連鎖的に広がっていると思います。

今回はシングルAZにおけるEC2とRDSにだけ問題が起こった、というAWS Service Health Dashboardの書き方からすると、シングルAZ構成だったシステムだけが問題が起きているのか?と言う話になります。しかしその割には大手のシステムも影響が起きています。大手がシングルAZだとは考えにくい。

一つの可能性としては、シングルAZになった瞬間リソースが理論的には半分になります。負荷が半分のリソースではさばけない・・という理由が考えられます。すぐに台数をスケールアウトできないような構成では復旧を待つ方を選択すると思うのですが、AWSの復旧に時間がかかっているために影響が長引いているという考え方です。また、スケールアウトしたくてもAWS側のリソースが急には提供できない可能性もあります。

もう一つの可能性は、RDS(データベース)でMulti AZを選択していたとして、片系に問題が起こった場合に全体障害が発生する可能性です。データベースにボトルネックがあればほとんどのシステムはちゃんと動きません。

この二つとも違うのかもしれませんし、別の理由があるのかもしれません。

この辺りは後日正確な記事が出てくるでしょう。進捗を注視します。

 

マルチクラウド

さて、今回の件でやはりマルチクラウドの運用方法が想起されるのではないかと思っています。

 

japan.zdnet.com

障害とは無縁のクラウドプロバイダーなど存在しない。これは、世界各地に代替となるデータセンターを展開している超大規模のプロバイダーであっても言えることだ。つまり、プロバイダーという単一の「カゴ」のなかに複数のワークロードという「卵」をすべて入れると、ミッションクリティカルなアプリケーションが利用不可能になるというリスクを背負い込むことになる。マルチクラウド戦略は配備と管理の頭痛をもたらす可能性がある(後述)ものの、セキュリティやフェールオーバー、障害復旧、すなわちレジリエンスを向上させるソリューションと言える。

 

今回はAWSですが、Azureの全体障害も記憶に新しいです。今年の5月の話です。

 

www.orangeitems.com

インフラは設計時こそ大事、作ってからではできることが限られる。Azureですらこの原則を守れず、大規模障害を発生させてしまっています。インフラエンジニアの我々は、これを教訓とし例えばマルチクラウドを検討するなど、できるだけ結合させず同時障害を避けるような価値観を持つ必要があると思います。一つのサービスに依存するのは危険です。

ビジネスの安定はインフラサービスの局所化が肝、です。

 

このときもマルチクラウドのことを思いましたが、AWSですらやはり障害は避けられない・・・。となるともうどうしても、クラウドは複数使っていかないといけないのだなあと思います。

クラウドエンジニア、なんて言葉はまだまだ認知度は薄いと思うのですが、どうもAWSが得意な人はAWS一筋、Azure、GCP、IBM CloudやOracle Cloudなど、一つが得意な人が多い印象です。

一つですら学習するのは大変です。二つ、三つとなると外国語をおぼえることと同じくらい大変です。

でも、やっぱり挑戦していかなきゃいけないなあ・・と。最近GCPを使うようになったのもその延長線上です。

どんなにAZだリージョンだと言っても、同じプラットフォームを使っている限りリスクありありです。ベンダーが違えばさすがに同時障害はゼロに近くなります。

クラウドエンジニアを標榜するなら、2つないしは3つは使いこなせないとこれからの時代まずいなあ、と現在のAWS障害進行状況を見て思いました。

 

追記

原因判明をうけてもう一本書きました。

クラウドは雲の中にあるんじゃない サーバールームで動いているんだ - orangeitems’s diary

 

 

IT技術者はどこまで業務指示に従うべきか

f:id:orangeitems:20190823122317j:plain

 

サイバー攻撃とIT技術者

日韓の安全保障問題が大きな話題となる中、IT技術者としては別の記事が気になりました。サイバー攻撃への防衛力強化の件です。

 

www.nikkei.com

日米両政府が19日に開いた外務・防衛担当閣僚協議(2プラス2)はサイバー攻撃への防衛力強化に重点を置いた。日米安全保障条約5条の適用対象とし、日本へのサイバー攻撃に米国の防衛力が働くこととなる。すでに現実になっている新たな脅威への抑止力を高め、日米同盟を最先端の同盟に引き上げる。日本には法的課題が残る。

 

外務大臣と防衛大臣が出席されていますが、サイバー攻撃となると内閣府・経産省・総務省あたりも本来は出張らないといけないのかと思います。

で、サイバー攻撃への防衛というと、単にファイアウォールを設置したり通信会社のDDoS攻撃対策あたりをイメージされる方が多いかと思うのですが、この記事が指し示すところはもっと深刻な話です。

 

前方防衛という概念

アメリカ国防総省はサイバー攻撃に対する防衛策として、敵からの攻撃の予兆を検知した場合には前もって攻撃源に対する攻撃を行うことを明言しています。

 

www.newsweekjapan.jp

9月の国防総省版のサイバー戦略で注目すべきは、「前方で防衛する(defend forward)」という文言である。

そもそも米軍は、アジアの在日米軍基地や在韓米軍基地、欧州や中東にもたくさんの基地を持っている。米軍にとって戦場は米国本土ではない。軍を前方展開し、敵に近い場所で叩くのが戦略である。地政学的にいえば、ユーラシア大陸の勢力を封じ込め、リムランドと呼ばれるユーラシア大陸の辺縁が戦場になる。冷戦は分断されたドイツ、中東、ベトナム、中台海峡、朝鮮半島が舞台となってきた。

サイバーセキュリティでの「前方で防衛する」とは、悪意のあるサイバー活動をその発信源で妨害し、止めることであり、それは武力紛争のレベルより下の活動も含まれる。通常兵力での前方展開をサイバースペースにも適用したのが今回の国防総省のサイバー戦略ということになる。

 

攻撃されそうな場合は、その発信源を攻撃することは防衛である。この概念をサイバー攻撃に取り入れた場合世界が全く変わります。

攻撃予兆についてはインターネットに接続したシステムを運用していれば山のように検知します。例えばSSHプロトコルの標準ポート22/TCPをインターネットに対してオープンするだけで、山のようにアクセスが飛んできます。攻撃者は絶えず、攻撃の踏み台として使えるホストを探しています。この時点で攻撃の予兆です。メールサーバーも然り。WEBサーバーも然り。最近だとIoTデバイスも狙われています。家庭用のルーターはもう汚染が広がっていてDDoS攻撃の一旦を担っていると言われています。

日本的な考え方だと、攻撃されたらそれに対して防御の壁を張るというところで終わるのですがアメリカは違います。その攻撃減まで突き止めて逆に攻撃をするのです。攻撃をされてからでは社会インフラに深刻な影響が起きるかもしれませんから、先に攻撃する、そういうことです。

この攻撃の基盤として疑われたのがファーウェイの通信機器です。その他さまざまなIT製品に攻撃を可能にするセキュリティーホールが埋め込まれているのではという疑念があります。ファーウェイ製品に明らかな脆弱性が見つかったわけではないのに、どんどん輸出規制をしかけるのはまさに前方防衛そのものだと思います。

 

IT技術者がいずれさらされる選択

私も攻撃を受ける現場を何度か経験したことがありますが、攻撃元がわかったときに、じゃあその攻撃元へこちらから反撃していいのか?と一瞬考えたこともあります。

今の時点では、こちらから攻撃すること自体が攻撃となるので、まずい、という判断が正しいと思います。

ただアメリカ的な前方防衛について、冒頭の日経のニュースのように日本もこれを取り入れるとすると話が変わります。

仕事として、サイバー攻撃をこちらから行うというような概念を本気で日本が行うとすれば、最終的にはIT技術者にその指示が下りるかもしれません。

そのための方法も標準化され、サイバー攻撃自体を行う組織も用意されるかもしれません。それはITセキュリティー技術者と領域は同じです。

その時、自分の良心はそれに従うのかというのはとても興味があります。

 

japan.cnet.com

数千人のGoogle従業員が、米国防総省のプロジェクトへの協力をやめるよう会社に求める請願書に署名していたことがわかった。このプロジェクトは人工知能(AI)技術と画像認識技術に関するものだが、その成果がドローン兵器に利用される可能性があるという。

 

ここ最近、DX(デジタルトランスフォーメーション)の話がとても経済界では盛り上がっているのですが、安全保障領域でも同様です。デジタル化がどんどん進んでいますから、裏を返せばIT技術者がこれに協力する場面は増えていくことになります。

これに協力すべきなのか?

あなたの良心はどうこれを解釈するのか?

 

今のうちから考えておくべきトピックです。

アメリカが守ってくれるから、で思考停止してはいけません。

 

Google Cloud(GCP)にGPUつきプリエンプティブインスタンスVMを格安で借りた話

f:id:orangeitems:20190822115325j:plain

 

Google Colabが気に入って

Google Colabがあまりにもフレッシュな体験だったので使い倒していたのですが、12時間に一度初期化されるのはあまりに大変でした。

12時間おきにまっさらになる仮想マシンのようなものです。ただその仮想マシンは高性能。2vCPUに13GBのメモリー。ハードディスクも50GB(場合による)。GPUがデフォルトでついていて、少なくともTesla K80は使えます。

 

f:id:orangeitems:20190822102721p:plain

また、Ubuntuは18.04 LTSです。

素晴らしい・・。のですが、さすがに12時間に一度まっさらにされるのはしんどかった。対応策としては、

・Google Driveをマウントして、永続データを定期的にエクスポートしておく。
・初期化されたら、Google Driveを再マウントして、永続データをインポートする。

とやっていました・・が、やっぱり環境は一度構築したらずっと使いたいものです・・。

 

Google Cloud Platformへ乗り換える

Google Cloud Platform、通称GCP、Googleのクラウドです。

Google Colabの仮想マシンは結局はこの中にある一時仮想マシンであり、本格的に使いたいならこちらに乗り換えるのが吉だと思います。

ただ、まず慣れるまでは無料運用したい。常用するようになったらお金を支払ってもいいけれど最低限にしたい。

GCPはこのニーズにとてもフィットしたクラウドです。数日トレーニングで自宅のGPUを無停止で廻し続けると電気代もバカになりません。私が取った作戦を共有します。

 

まず、基本的な考え方として、GCPはアカウント解説後1年間、毎月$300の無料利用枠がつきます。したがって$300以内の利用であれば無料で使い倒せます。今回も$300以内に収めます。

次に、プリエンプティブVMを契約するということです。こちらは連続使用が最大24時間しかできないインスタンスですが、価格がべらぼうに安くなります。

 

techtarget.itmedia.co.jp

 

しかもGPU付きのインスタンスも選べます。

私が選んだのは、下記の条件です。

f:id:orangeitems:20190822105713p:plain

ちなみに上記はアメリカのリージョンで借りました。アメリカじゃないと$300を超えてしまいます。

また、$241.10と言ってもずっと起動した場合の価格ですから、起動しなければ課金されません。使用率が50%だとすればここから半額になります。

また、アメリカのリージョンを契約するのにはもう一つ理由があります。

プリエンプティブVMは、利用するゾーンのリソースに余裕がないと利用中に停止されたり起動できなかったりします。

やっぱりアメリカがいっぱいリソース持ってます。ということでアメリカを選択(アメリカには複数のリージョンがありますが、これは断言しません。ここで言って変に人気が集中されても困るし・・)。

ということで、無事上記を借りて、Google Colabからの乗り換えを果たしています。1年後もガリガリ使うようならまじめに課金するつもりです。やはり使わないと勉強にならないですからね・・。このVM、確かに24時間ごとに自動で止まるのですが、再起動しても永続ディスクにありますから、Google Colabのように再度環境構築しなくても良いです。起動して再開するだけ。やはり人生の時間は貴重なので、勉強とは言え無駄な作業はどんどん減らしていかないとまずいですよね。

 

参考資料

今回の環境構築にあたって、便利な記事を添付しておきます。

 

初めに読む

tech.zeals.co.jp

一番初めにお世話になった資料。インスタンス立てるまでに少し苦労したのですが、はじめからこれを読んでおくのがお勧め。

 

GPUドライバ・CUDAのインストール

cloud.google.com

GCPがNVIDIAドライバーやCUDAのインストールスクリプトを公開しているのでセットアップが楽でした。

 

cuDNNのインストール

qiita.com

CUDAのインストールはGCPのスクリプトで十分ですが、cuDNNは手動で実施しなければいけません。上記「cuDNN のインストール」が非常に役に立ちました。

ちなみに、GCPのスクリプト通りインストールするとCUDAは10.0のものが入りますのでこれに対応したcuDNNをインストールしてください。

 

Google Driveのマウント(CLIベース)

moguno.hatenablog.jp

コマンドでGoogle Driveをマウントする方法です。

Google Driveをマウントすると、ファイルの受け渡しがかなり楽です。しかもGCPの素晴らしいところは、Googleのサービス(Youtube、マップ、ドライブなど)に対する通信は無料であるということです。ということはGoogle Driveと通信する限りは通信料を気にする必要が全くないため、上記方法を利用してマウントを行いました。また、Google DriveとVMの間の受け渡しスピードもすごく速いです。

なお、認証については一か月キャッシュされるため、VMを再起動しても認証不要で再マウントできます(便利)。

 

VMへのSSH接続

qiita.com

機械学習利用のため外部と通信できる必要がない、と言う状況でSSHターミナルに入りたい時にブラウザから入る標準の方法はイマイチでした。

上記のように、gcloudコマンド導入後、

# gcloud compute ssh VM名

なんてやると勝手にputtyが起動してSSHログインできるのでこれがかなり便利。

 

・・・ということでかなりマニアックな内容でしたが、多分、私が後から思い出すときに使う記事にもなります。自宅で四苦八苦されている方にはぜひ利用をお勧めします。1年間は上記環境なら無料で使えますから。

 

ちなみに、じゃあクラウドで全部いいのかと言うと私は違う意見で、トレーニングとは関係ないデータのサニタイジングや、モデルを実際に動かすところなどはローカルPCでやった方がやりやすいと思います。特に画像や映像を扱う場合は手元で全部できたほうが便利です。クラウドにデータを運ぶのが大変なので。

また、VRやらゲームやらできますし。

ということで、引き続き高性能デスクトップパソコンのお勧めもしておきます。

 

www.orangeitems.com

 

 

実用段階に入ったAIとそれを支えるハードウェアの進化

f:id:orangeitems:20190821101308j:plain

 

今のAIは第三次ブーム

AI(人工知能)自体の発想は最近始まったわけではなく昔から着想はあったものの、長い間がっかりされてきた事実です。

 

www.technologyreview.jp

「3つの時期」は、第1次から第3次までのAIブームの各時期に当たる。第1次AIブームは1960年代。米英を中心とする「AI」分野が初めて立ち上がった。ただ、あくまでも学術的なブームであり、社会的なインパクトがそれほど大きなものではなかった。第2次ブームは1980年代。コンピュータが一般家庭に入り、期待が高まったときのことだ。そして第3次が現在である。

 

第3次ブームと呼ばれる今のAIは、過去のブームと違ってどんどん社会に露出し実際の人々の仕事や生活に入り込んできています。

 

目に見えてきた具体的なAI

ここ最近のニュースを見ても、AIを中心に置いたサービスがどんどんリリースされています。具体例をまとめます。

 

バスの出発時間を予測する

forbesjapan.com

カナダ・バンクーバー都市圏の交通行政を管轄する団体「TransLink」は、利用客がより正確に目的までの時間を推測できるよう独自のAIツールを公開した。すでに13のバス路線に試験的に採用されており、出発時間の予測という側面で大きな成果を収めているという。

開発されたAIは、バスの位置データや、出発時間に影響をおよぼすであろう天気や時間などのデータを組み合わせたものとなる。同社のKevin Desmond CEOによれば、「予想された時間と実際のバスの出発時間が74%も改善(誤差が縮まった)された」という。

 

見込み顧客を検出する

www.nikkei.com

建築事務所のロジックアーキテクチャ(熊本市)は、営業データなどを人工知能(AI)が学習し、戸建て注文住宅販売で、成約率を高めるシステムを開発した。注文住宅は成約までに時間がかかり、成約率が低いと採算が悪化しやすい。これまでの営業記録や住宅展示場でのアンケート調査を分析し、AIが顧客に最適な価格や建設地域を割り出す。自社運用を経て2020年からシステムを外販する。

 

紳士服スーツのオーダーメイドを提案する

senken.co.jp

高島屋は9月1日から、AI(人工知能)を活用した接客ツールを紳士服パターンオーダー(PO)の自主編集売り場「タカシマヤ・スタイルオーダー・サロン」に導入する。AIが顧客の好みに応じた最適な生地を提供する。日本橋、新宿、横浜、大阪、京都の5店でスタートする。

 

植物を育てる

tech.nikkeibp.co.jp

ソフトバンク・ビジョン・ファンドなどが2億ドル(約210億円)を投じる米プレンティ(Plenty)は、独自の植物工場を開発する農業スタートアップだ。既存の植物学にとらわれない発想で開発したAI(人工知能)が植物工場を制御することで、優れた風味の野菜や果物をわずかな水使用量で栽培できるという。

 プレンティの植物工場は独自の「垂直農法」であり、文字通り垂直に立てた柱のような栽培装置で葉物野菜や果物を栽培する。土は使わない。ミネラルや栄養素を加えた少量の水を栽培装置内で循環させて野菜を水耕栽培する。水は工場内でリサイクルするため、屋外の農場で野菜を栽培するのに比べて、水の使用量は20分の1にすぎないという。

 

ハードウェアの進化が欠かせない

第三次ブームはディープラーニングがもたらしたのは周知の事実ですが、このディープラーニングを個人レベルでも動かせるようにしたのは間違いなくハードウェアの進歩です。昔のパソコンでは絶対にムリでした。特にGPU(グラフィック用として用いられてきたプロセッサー)がディープラーニングに応用できることがわかってからの動きが革命ともいえる状況を創り出しているように思います。

一方で、GPUはそもそもディープラーニングに特化した部品ではないので、全世界で専用部品の開発が行われています。その中で本日インテルより注目の発表がありました。

 

www.reuters.com

(日本語訳)

Intelが最初の人工知能チップSpringhillを発表

エルサレム(ロイター)-Intel Corpは火曜日に、人工知能(AI)を使用する初めての大規模コンピューティングセンター向けに設計された最新のプロセッサを発表しました。

イスラエルのハイファにある開発施設で開発されたこのチップは、Nervana NNP-IまたはSpringhillとして知られており、10ナノメートルのIce Lakeプロセッサに基づいているため、最小限のエネルギーで高いワークロードに対応できます。

 

CPUやGPUをディープラーニング等の機械学習に用いると大量の電力を消費することがわかっています。これは特化した部品ではないために無駄が多いためです。上記スプリングヒルは、相当に効率が良いと言われこれまでのハードウェアではエネルギー消費効率上無理があった大量の機械学習がデータセンターで可能になるのではないかと考えられます。そうするとコストが下がり、もっと個人にとってAIが身近になることが予想されます。

また、インテルだけではなく、他の企業も意欲的に専用チップの開発に取り組んでいます。

 

www.nikkei.com

 

上記は有料記事のため引用はしませんが、今後ハードウェアが大きく進化するのは間違いないところです。

現時点でも身近になってきたAIの世界ですが、ますます加速することは間違いありません。AIとは何か、AIは使えるのかと言った状況はもはや過去であると断言することができると思います。

 

Google Colabが素晴らしい、本当に。

f:id:orangeitems:20190820141454j:plain

 

機械学習の日々

このところ、機械学習にドハマりしています。

手持ちのドスパラのパソコン 、具体的にはCore i7-8700KとGeForce GTX1070Tiの組み合わせを駆使して、トレーニングをぐりぐりまわしています。

夏休みの間はほぼこればかりに時間を費やしていたのですが、途中でやっていて気が付きました。Google Colabという選択肢があったのだと。

Google Colabについては、下記の記事を推薦します。技術的には下記通りやればすぐ使えるようになるはずです。

 

www.codexa.net

機械学習エンジニア界隈で話題沸騰となっているGoogle Colaboratory(グーグル・コラボレイトリー)。本記事では概要とGoogle Colabの知っておくべき基本的な使い方をまとめました!

 

yokonoji.work

「Pythonの開発環境をどうやって構築するか?」この答えが出ましたので、内容をまとめておきたいと思います。環境構築で迷っている方は参考にしてください。

 

今回は、Google Colabを使って一週間ほど経ったのでその特徴をまとめておきたいと思います。

 

Google Colabの特徴

上の記事は読んでいただいたことを前提にそのすばらしさを語ります。

GeForce GTX1070Tiが非力だとは思わないんですが、長時間廻すとファンがブウォーって音を立てるので電気代も不安だし何気に少し騒音を感じます。機械学習は長時間のトレーニングこそ肝なので困っていました。

そこでこのGoogle Colab。12時間の利用限定ですが、「NVIDIA Tesla K80 12GBか、NVIDIA Tesla T4 16GBのどちらか」がクラウドでタダで使えてしまいます!。

聞きなれないGPUだと思うのですが、こちらはサーバーで利用する高級GPUです。

 

 

 

まあ普通に買うと100万はかかる代物です。

これを無料で使えるんだから使わない手はない・・。

なお、T4が当たるかK80が当たるかは、運次第です。Google Colabで割当たるインスタンスはGCPで空いているリソースです。GCPでプリエンティブインスタンスという種類があって24時間で必ず終了させられる種類のサーバーがあるのをご存知であれば、仕組みは似たようなものです。Amazon EC2ではスポットインスタンスですかね。

Google Colabの場合は12時間です。なお一度経験があるのですが、夜中にぶんまわそうとトレーニングを仕掛けて就寝したところ、いきなりセッションがぶち切られて終了していたことがありました。12時間たたなくても無情に取り上げられることもあるのですがこれはアメリカ時間に大量のインスタンスが一時的に必要になったためなんだろうなと理解しています。日本時間ではそういうことは経験したことがないですね今のところ。

なお、Google Colabで動いているOSは、Ubuntu18.04.2 LTSです。また、インターネットにも出られます。2vCPU Memory 12GBです。ディスクは30GBほどを持っていますがたまに300GBくらいの玉を渡されることがあります。

ということで、Jupyter NotebookからシェルやPythonを叩くことさえ慣れてしまえば、何しろGPUが使える。いくら廻しても騒音などありません。クラウドですから。電気代もかからない。

一方で、最長12時間で消えてしまうインスタンスですが、Google DriveをNFSのようにマウントできます。マウントしてしまえば、cpやmvでファイルのコピーや移動も自由自在。GCPの中のせいかこのスピードもすごく早いです。ethtoolで調べたところなんとeth0が10Gbpsでつながっています。これはGCPに準ずるところだと思うのですが速いはずです・・。

ということで、Google Oneを契約し、Google Driveを200GB契約してしまいました。月380円なのでお得です。

 

one.google.com

 

結局、Google Colabのノートブックに環境設定コマンドを保存しておけば、インスタンスがなくなっても瞬時に再初期化できます。

データは定期的にマウントしたGoogle Driveに退避。環境設定のときにインスタンスのディスクに戻します。

ということをやっています。

12時間おきに初期化されるので、インスタンスが消えた時点で環境設定しているのですがGPUがタダで使えるのですから何の不満もありません。

ちなみに、vCPUが2個なのでCPUをたくさん使う作業は不向きです。そこは自宅のCore i7-8700Kが6コア12スレッドですのでこちらにデータを巻き戻して処理するようにしています。

適材適所ということで。

ちなみに、ああこのインスタンス永続的にほしいわあ・・と思ったんですが・・。

f:id:orangeitems:20190820135210p:plain


うーん4万円・・。手が出ない。ただ、プリエンティブインスタンスにすれば1.5万円くらいにんはなるんですがそれでも、24時間で消えるならGoogle Colabと変わらないよなあという具合です。

それぐらい、Google Colabは破格だということです。

 

なんで無料で使えるんだろう

Google Colabですがあくまでもユーザーの研究使用が目的です。

おそらくゴリゴリ長時間廻していると、BANされる可能性もあります。

 

research.google.com

T4 GPU などのハードウェア リソースを利用できないのはなぜですか?

 

最も利用しやすいハードウェアは、Colaboratory を長期間のコンピュータ処理ではなくインタラクティブに使用しているユーザーに優先的に割り当てられます。Colaboratory を長期間のコンピュータ処理に使用しているユーザーは、利用可能なハードウェアの種類やハードウェアの利用時間に関して、一時的に制限される場合があります。コンピュータ処理に特別なニーズがあるユーザーは、Colaboratory の UI をローカル ランタイムで使用することをおすすめします。
なお、Colaboratory を暗号通貨採掘に使用することは認められていません。Colab のご利用を全面的に禁止される可能性がありますので、ご注意ください。

 

暗号通過採掘に使ってはいないのですが、ずーっと使っていたらきっと注意されるんだろうなという雰囲気です。

ローカルランタイムを自分のパソコンに入れて、たまには家のGPUを廻すほうがいいかもなあなんて思いました。ご利用の方は十分ご注意ください。

 

追記

GCP契約しちゃおっかな。無料枠あるし・・。

 

35歳定年説の次は45歳の崖というこの無理ゲー

f:id:orangeitems:20190819094150j:plain

 

45歳の崖?

毎週拝読している日経xTECHの「木村岳史の極言暴論!」。また今週も燃えそうなことが書いてあるなと。

  

tech.nikkeibp.co.jp

 この件は一度だけだがSIerの技術者と議論した。この技術者は「そもそも基幹系システムなどの開発では枯れた技術を使うので、最新技術を学んでも仕方がない。それに勉強したいと思っても、忙しくてとても無理」と話していた。学ぶ必要も学ぶ時間も無いという事情らしい。しかし、そんな認識ではやがて「45歳の崖」に突き当たってしまうぞ。

 

今日はこの45歳の崖について考えてみます。

 

10年前の状況

ほんと、氷河期世代というかロスジェネ世代はお気の毒です。いや、自分か。十数年前の話。かなり煽られたのです。35歳になったらお払い箱だぞと。

そしてその影響を受けて本当にITから足を洗う人も続出していました。下記は2008年のIPA調査結果です。

 

www.atmarkit.co.jp

 情報処理推進機構(IPA)はIT人材の育成を目的とした予備調査の結果を2月18日に発表した。IT業界の転職についての調査で、40歳代を境にIT関連業務から、ITとは無関係な業務に転職する人が50%を超えるなど、一部でささやかれる「プログラマ35歳定年説」を思い起こさせる結果になっている。

 

この通り、40歳を境にITから半分以上の人が去っていったのが10年前です。今は35歳定年説なんて人材不足で都市伝説となっていますよね。むしろ35歳あたりなんてどの企業ものどから手が出るほど欲しいんじゃないでしょうか。

 

私の話

10年前は確かにSES全盛時代で私もその中に放り込まれていました。20代のころは良かった。もともと20代の給与水準は低いので単金も安く、SESとしても採用されやすかったのです。したがって大企業に潜り込み10年近く就業しました。ほとんど自社オフィスに帰らずそのころに得た知識で今があります。だからSESイコール悪だとは必ずしも思いません。いろいろ勉強になることもありました。しかし三十代になって空気が変わり始めます。自分の給与の上昇とともに自分の単金が合わないという話をちらほら聞き始めます。一方で二十代の若手はどんどん入手してきますから単金での競争となるのです。本来は技術力が上がったから単金も上がって当然、となるべきですが、同一労働同一賃金の常識がそのころにあるはずもなく。私はその空気を読んで、転職活動を行いSESを十年前に卒業した思い出です。

十年前の統計を見るとそもそもITから離れた人も多いとか。そんな中で45歳前後までがんばった氷河期世代のITの方々。今度は「45歳の崖」ですって・・・。これはたぶん、55歳のなんとかが次に来るんだろうなという話でしょう。無理ゲーかと。

 

なぜ氷河期世代ばかりが

この件、氷河期世代の努力が足りないとか教育が悪いとか、そういうことではないと思っています。単純に氷河期世代の人数が多いのです。下記、国立社会保障・人口問題研究所の人口ピラミッド2020年の絵です。

 

f:id:orangeitems:20190819093233p:plain

引用元:人口ピラミッド|国立社会保障・人口問題研究所

 

35歳の時に限らず、受験の時だって大変だったんです。受験戦争と言われていました。そこを勝ち抜いたのに、就職のときは氷河期。35歳のときは定年説。45歳では崖。

そこは世代でくくらずに、新しい技術に触れていかないといつか切り捨てられるよ、と言えばいいだけの話ではないでしょうか。私は45歳まで生き残った同志はそうとう強い生命力があると思っているのです。

氷河期世代、これまでの経緯も考えて、もうちょっといたわってほしいなと思う今日この頃です。

 

リクナビ内定辞退予測を買った企業、多すぎ

f:id:orangeitems:20190817142106j:plain

 

リクナビ内定辞退予測データ問題

AIの間違った使い方というか・・。自分が知らないうちに知らない企業に自分のデータが渡っていたらそれはまずい、というリクナビ内定辞退予測データ問題。

販売していたリクルートだけではなく、購入していた企業側のモラルも問われることとなっており続々「買ってました・・でも使ってませんから許して」的な企業が現れていて興味深いです。

 

続々と購入企業が告白

 

YKK

www.itmedia.co.jp

 就活情報サイト「リクナビ」を運営するリクルートキャリアが、学生の「内定辞退率」を予測したデータを販売し物議を醸している件で、YKKが8月16日に「データの提供を受けていた」と明かし、「学生の皆さまに不安な気持ちを抱かせていることを深くおわびする」と謝罪した。

 YKKは「技術系学生の当社グループへの志望度を確認するため(リクルートキャリアから)データの提供を受けていた」と説明。YKKグループの就職説明会への参加を促すことが目的で「採用選考の合否判定には、一切使用していないことを確認している」という。

 一方で「採用活動での個人情報の取り扱いに一層配慮すべきという指摘を真摯に受け止めている」とコメント。改善すべき点がなかったか社内調査を進め、今後の対応に生かすとしている。

 

りそな、アフラック

mainichi.jp

 就職情報サイト「リクナビ」を運営するリクルートキャリア(東京)が就職活動中の学生の内定辞退率を予測したデータを企業に販売していた問題で、りそなホールディングスとアフラック生命保険がデータを購入していたことが15日明らかになった。いずれも合否の判定には使用していないとしている。

 

レオパレス

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が学生の「内定辞退率」を予測したデータを企業に販売していた問題で、レオパレス21は16日、同データを購入していたと発表した。同社は説明会への参加を学生に促すために購入したとしており、採用活動の合否判定には「一切、使用していない」という。

 

東京エレクトロン

tech.nikkeibp.co.jp

 就職情報サイト「リクナビ」を運営するリクルートキャリアが学生の内定辞退率を予測したデータを38社に販売していた問題で、半導体製造装置大手の東京エレクトロンが同データを購入していた事実が2019年8月16日までに分かった。購入が判明したのはホンダやトヨタ自動車などを含め8社目となる。

東京エレクトロンはこれまでの購入企業と同じく「選考の合否判断に使っていない」(広報)と説明する。「リクルートキャリアと同意書で『合否判断に利用しない旨』を合意済みで、これに基づき適切に利用した」(同)。具体的には内々定者をフォローする際に参考にしていたという。

 

トヨタ、大和総研、ホンダ

www.tokyo-np.co.jp

 就職情報サイト「リクナビ」を運営するリクルートキャリア(東京)が就職活動中の学生の内定辞退率を予測したデータを企業に販売していた問題で、トヨタ自動車とホンダ、大和総研ホールディングスがデータを購入していたことが十三日、分かった。三社とも合否の判定には使用していないとしている。

 トヨタは購入理由について「辞退者を減らすことが目的だった」と説明。就活生と「実際に会って会話する中で適性や入社意思を確認することが最も大切と考えている」と強調した。個人情報の取り扱いに関しては「事実関係を調査の上、今後の対応を適切に検討する」としている。

 一方、ホンダは「きちんとした手続きは踏んでいたが、お騒がせして申し訳ない」と話し、学生に経緯を説明することも検討している。

 大和総研は「採用活動における将来の人工知能(AI)活用のための技術検証」としている。

 

三菱電機

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が学生の「内定辞退率」を予測したデータを企業に販売していた問題で、三菱電機は19日、同データを購入していたと発表した。同社は試験的に購入したとしており、これまでの採用活動には合否判定を含め「一切、使用していない」という。

 

アフラック生命法権、りそなHD、NTTグループ

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が学生の「内定辞退率」を予測して企業に販売していた問題で、アフラック生命保険とりそなホールディングス(HD)が同データを購入していたことが分かった。金融機関の購入が明らかになったのは初めて。
ほかにNTTグループの2社も購入していたが、各社は選考の合否判定には使っていないという。

 

京セラ

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が学生の「内定辞退率」を予測したデータを企業に販売していた問題で、京セラは19日、データを購入していたことを明らかにした。同社は採用を内定していた学生のフォローアップに使っていたが、「採用の合否判定には使用していない」と説明する。

 

リクルートホールディングス

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が学生の「内定辞退率」を予測したデータを企業に販売していた問題で、同社は19日、親会社のリクルートホールディングス(HD)と自社もデータを利用していたことを明らかにした。リクルートキャリアは「HDも含め採用の合否判定に使っていない」と説明している。

 

考察

報道によると38社に売っていたようで、とりあえず早めに公表したうえで合否には使っていませんからねと言おうと言うのが今のトレンドのようです。

しかし、それでは逃げ切れない模様です。

 

www.nikkei.com

就職情報サイト「リクナビ」を運営するリクルートキャリア(東京・千代田)が「内定辞退率」の予測を企業に販売していた問題で、予測データを購入していた38社にも責任が問われる可能性が出てきた。根本匠厚生労働相が8日、個人情報の取り扱いが適切かどうかの調査対象になるとの認識を示した。

 

日経新聞によると問題は2つあるとのこと。

一つ目。職業安定法において志望者の身辺調査を行う時は志望者に同意を取らなければいけないと決まっていることです。勝手に周辺を調べるようなことは禁じられているとのこと。今回の内定辞退予測データもその一つではないかと言うこと。

二つ目。各購入企業が、志望者のデータをリクナビに渡していたこと。これも本人の同意なしに第三者へ個人データを渡していることと同意。

とのことです。

法律ってすごいなと思うのが、もともとこのようなデータ社会になることを予見し予防線をきちんと張っているということです。しかし法律自体が人を規制するのではなく今回のように法律を逸脱するような行為をきちんと明るみにし論じることで、社会が個人情報を尊重しようとするようになること。これが最も大事なポイントではないかと思います。

今回の件、データビジネスが先鋭化するあまりにモラルを逸脱してしまった感があります。しかしもはやデータ分析の世界は技術的にはかなりできることの方が多くなってきています。技術者がモラルを持たないと資本家のアイデアに振り回されることとなり、危ない橋を渡ってしまうことになりかねません。

AI等の技術の進化を追いかける一方で、やってはいけないことは何か、モラルの知識もITエンジニアには必須の知識となってきそうです。

 

D2C(Direct to Consumer)がブームの兆し

f:id:orangeitems:20190817013746j:plain

 

お客様へ直接売る

最近、D2Cという言葉が流行しているそうです。

Direct to Customer、お客様に直接販売するという形態です。通常の商習慣だと、卸に売った後に小売へ販売するのが普通でした。そうではなく、例えばAppleがiPhoneをApple Storeで直接売るように、顧客と直接つながり販売するというのがD2Cだそうです。

なぜD2Cが注目されているか・・というと、物を売るときにECサイトで購入することがごく当たり前になったから。卸に出すよりECサイトで直接お客様とつながり売った方が利益率も高いし、お客様の顔も見えるし、データも取れる。Amazonや楽天などのモール型ECサイトに出すと高いマージンを取られるために、自社ECサイトを構築したうえで店舗を出す。店舗では直接売らずショールームに徹し、もし買いたいとなった場合はECサイトに誘導する。これがD2Cの典型例です。

いくつか、事例が出ているのでご紹介します。

 

D2C事例

 

丸井(2019/8/16)

xtrend.nikkei.com

オンラインがオフラインを包含する“アフターデジタル”の時代。デジタル起点でリアル店舗を捉え直したとき、どのような変化が必要になるかを解き明かす本特集。第1回は、「モノを売らない店」へのシフトを決断した丸井グループに焦点を当てる。次の一手となる「デジタル・ネイティブ・ストア」戦略とは?

 

ITmedia(2019/7/26)

marketing.itmedia.co.jp

  製造から販売まで自社のリソースをフル活用して一気通貫で提供するD2C(Direct to Consumer)のビジネスモデルが注目されている。中でも特にプレイヤーが増加しているのがコスメ(化粧品)業界だ。日本でも化粧品系のD2Cスタートアップが続々と誕生している。

 

DIGIDAY(2019/7/31)

digiday.jp

D2C(Direct to Consumer)は、酒類業界にも浸透しつつある。

独立系企業やコングロマリットの有する新しい酒類ブランドが、オンラインコンテンツとマーケティング戦略を活用してアルコールに興味のある若年層へアピールを行っている。マットレスやカミソリ、スポーツウェア、化粧品、家庭用品などと異なり、酒類はこれまでD2Cではあまり見られなかったカテゴリーだ。いくつかの法律上の抜け穴や訴訟での勝利を経て、ハウス(Haus)やエンパシーワインズ(Empathy Wines)、ワン/ウォッカ(One/Vodka:ペルノ・リカールの保有ブランド)といったオンラインの酒類ブランドは新しい成長戦略を見出しつつある。

 

FORBES JAPAN(2019/8/8)

forbesjapan.com

アパレル、化粧品、フード。さまざまな領域で、続々と立ち上がっているD2Cブランド。その波は“スポーツ領域”にまで広がっているようだ。スポーツ用品のD2Cブランド「TENTIAL(テンシャル)」を手がけるTENTIALは8月8日、第1弾プロダクトの機能性インソール「TENTIAL ZERO」を正式に発売開始したことを発表した。

 

DX(デジタルトランスフォーメーション)の現実解

世の中、デジタル化しないと会社が終わる。そんな極端な物言いが流行した時期もありました。しかし最終的な勝ちパターンはデジタル一辺倒ではないように見受けられます。きちんとした事業があり、ビジネスプロセスを確立し、品格のある企業。今までの仕事を否定することなく、デジタルを取り入れて、より顧客に価値を届けるといったやり方で成功している企業が増えてきたように思います。

「破壊型イノベーション」ではなく、「非破壊型イノベーション」です。これまで作ってきたものを変えるわけではない。その売り方にデジタルを導入する。例えば自社ECサイトを作る。作るだけではなく実店舗を構えてお客様に商品に触れて頂こう。そして気に入れば自社ECサイトで購入を進め導線を作ることによって、今までの商習慣にイノベーションを起こそう。

このやり方であれば、これまでのビジネスの根幹は壊す必要はありません。そして新しい仕事が生まれます。社内に活気ができ新しい人材も入ってきます。このシナリオは誰も不幸にしないと思います。

顧客側も、その商品を作った人と直接話ができることで、刺激的な体験ができます。ECサイトでは真偽がよくわからないレビューがあふれて本当に良い商品がどれかわかりにくくなっています。直接商品に触れられるところで、商品を製造した人からどんな価値があるか教えてもらえる。これはD2Cの大きな利点だと思いますし、全てがモール型のECサイトに飲み込まれるわけではないということを示しています。

街を歩くと、たくさんの人がショッピングを楽しんでいて・・、もしECサイトで事足りるならこんなに街がにぎわっているわけないようなあと思います。

D2C、今後さまざま企業で大事になるキーワードではないでしょうか。

 

パソコンで最先端の体験をしたい人に選び方を教えるならこう伝えたい

f:id:orangeitems:20190815235456j:plain

 

パソコンの選び方を教えてください。

パソコンが買いたいんですか。

VRをやってみたい。なるほど。あとゲームも興味があるし、プログラミングもやってみたいと。それはいいですね。

まずパソコンと言ってもノートパソコンとデスクトップパソコンの2つあるのはご存知ですよね。ノートパソコンはノートみたいに二つ開きになって持ち運びできるやつ。デスクトップは床に置いて使うタイプで持ち運びはできないですね。あと、モニターも別で買う必要があります。

5年くらい前まではデスクトップパソコンって売れなくなってノートパソコンばっかり出ている時期もありましたよ。電池持ちが良くなってワードやエクセル、軽いプログラミングぐらいだったらノートパソコンでも十分です。もちろん今でも売れていますが・・。私はデスクトップパソコンをいつもお勧めしています。

お客様はVRをやってみたいわけですよね。VRはOculusという会社から出ているVRゴーグルを別にお買い求めいただく必要があります。二つタイプがあって、パソコンのいらないものといるものがあります。前者だったらパソコンは不要ですが。でもやはり私はパソコンVRをお勧めしています。できることの幅が違いますから。前者はOculus Quest、後者はOculus Rift Sって言います。

ただパソコンっていってもノートパソコンじゃダメなんです。パソコンには心臓であるCPUのほかに、GPUっていうグラフィック専用のチップがあってですね。このグラフィック専用のチップはデスクトップの方が性能が全然上なんです。売れ筋のエヌヴィディアというメーカーのGPUには種類があってですね。少なくとも今ならGeForce RTX 2070以上が必要ですよ。だからデスクトップ一択なんです。お客様の使い方ですと。

デスクトップパソコンもエントリーモデルなら専用のGPUもついていない10万以下のものから、ハイエンドで30万くらいするものまでいろいろあります。でも私は思うんですけど、高いものをはじめから買った方が良いと思います。何も知らないと、エントリーモデルでしばらく楽しめるんですけど、いろいろパソコンにできることを知っていくわけです。こんなゲームやってみたい、VRにこんな使い方が出た。またここ最近は、AIってご存知ですよね。そのAIでディープラーニングっていう技術があるんですが、これをパソコンでやるためにはまたGPUが必要なんですよ。さっきもお話しましたよね。VRでも性能のいいGPUが必要だとお話ししましたけど、ディープラーニングもGPUが計算するんです。GPUって最近はグラフィックだけじゃないんですね。瞬時に計算するのがとても上手なので、AIの勉強したいなら高いGPUが欲しくなる。というふうに、パソコンを手に入れると、あれもやりたい。これもやりたい。それでエントリーパソコン買ってしまうと後から追加投資してGPUを入れ替えたり。またそもそもそのGPUを動かすための電源が足りなかったりしてですね、結局はパソコンまるまる買い換えちゃったほうが良いっていうことになっちゃいます。

デスクトップパソコンは家に二台置くのって邪魔ですし、電気も食いますからね。正直、初めからいいものを買った方が経済的じゃないかと思います。追加投資がいらないから、ああこれやりたいかなあとなったときにスッと遊べるんです。ところがまあエントリーだとあれができないこれができない。ミドルレンジだとスペック足りるかなあどうだろうと毎回やきもきすることになる。

今AIのお話をしましたけど、パソコンって一番始めに新技術が投下されるところなので、また来年になると違うものが出てくるんですよ。そうやって常に新しいものが出てきたらすぐに試せる。世の中で流行するより前に先に参加して、もしすごいなあと思ったらその世界で食べていけるかも、なんてロマンがありますよね。パソコンには。

5年前デスクトップが下火になったときには、そういうハイエンドのパソコンじゃないとできないようなものが一瞬無くなった時期だったのかもしれませんね。今はVRやディープラーニングやらでデスクトップパソコンが売れるようになったのは嬉しいですね。

おっと、あとCPUとかメモリーの話もしなきゃいけなかったですね。

CPUは基本的にインテルのものを選んでおけば問題ないでしょう。Core i7とかi9って書かれているものです。そういえば、最近はAMDのCPUも良く売れてるんです。Ryzenっていうブランドでして・・ご存知なかったですか?。単体だとインテルより売れちゃってますね。インテルと同じパフォーマンスを出すのに価格が安いんですよ。パーツに詳しい人は面白がって買っていってくれますね。ただ何しろこの前出たばかりのシリーズが売れ筋なのでそこは注意したほうが良いかと思いますね。あと、やっぱりCPUよりGPUの方が今は大事なプログラムが多いかなという印象です。

メモリーは、少なくとも16GBを買ってください。今はメモリーが随分安くなりましたよ。16GBあればいろんな使い方をしても足りないなんてことはないと思います。また後から増設もしやすいパーツなのでここはそこまで神経質になる必要はないと思います。メモリにも種類があるのですがこれは初めにパソコンを買う時にセットで選べるものにしておけば問題ないです。あとから買い足すときは基本的にその種類のものを選べば問題ありません。パーツの名前だけ控えておいてくださいね。

後は最後に・・ストレージですね。ストレージにはハードディスクとSSDという二つの種類があるのをご存知でしょうか。最近はSSDがぐっとお安くなっていて大容量化が進んでいます。昔はハードディスクしかなかったんですが最近だとどんどんSSD化が進んでいます。すごく速いSSDなんですけど弱点はあって、ハードディスクよりは寿命が短いんです。ですから、大容量のハードディスクにデータのバックアップを取ることにして、普段使いはSSDにするのがいいですね。

あと、SSDって最近は2つの種類があるんです。一つは昔からあるSATA SSDという種類。これはハードディスクと同じ接続方式です。もう一つは、NVMe SSDという種類。これはマザーボードのスロットにメモリーのように刺すタイプなんですがこれがすごく速い。SATA SSDの5倍くらいは速いです。

パソコンを本格的に使うようになるとわかると思うんですが、ディスクの読み込み・書き込みにかかる時間てバカにならないんです。特にVRみたいに瞬間的にたくさんのデータのやり取りが必要になったり、機械学習のような大量データの読み込みには入出力周りが速いのが必須です。ですからSSDを使うのは必須だと思ってください。一時作業用にSSDを500GBから1TBくらい持っておけばとても作業効率が良くなること間違いなしです。

 

そろそろ買いたいんですが、お勧めの機種はありますか?

ありますよ。ずばりご紹介しますね。

これです。

 

f:id:orangeitems:20190815231948j:plain

GALLERIA ZZ ガレリア ZZ i9-9900KF搭載

 

私がお勧めしたものが全部入っています。あとカスタマイズでSSDを1TBぐらい追加しておけばもっと良いかなと思いますが、買った後に増設しても構いません。

何しろCPUもGPUも国内最高です。特にGPUがGeForce RTX2080 Ti 11GBと言って最高峰です。このGPUのメモリって特に重要で11GBあるこちらは世の中の8GBのものより大きいので、いろんな場面で役に立つこと間違いないです。

 

1ランクだけGPUを落とすとすれば、もう少しお安くできます。

f:id:orangeitems:20190815232922j:plain

GALLERIA ZG ガレリア ZG

 

なぜこんなに値段が落ちるかって、GPUの差ですね。

本当、最近の最新技術ってGPUの役割が本当に高いので、1ランク落とすだけで5万円は違いがあります。

もう一ランクGPUを落とすという手もありますが・・、そうするとミドルレンジになって最高品質でゲームやVRが楽しめないという事態も想定できます。

もし4Kディスプレイを購入されるんでしたらもう今ご紹介したこの二つですね。

ぜひ、ご検討ください。

 

ということで

仮想パソコン店員をやってみました。

15か月くらい前にパソコンを買ったのですが、結局今となってはハイエンドが欲しい状況となっています。今のパソコンのGPUはGTX 1070Tiなのですが、とてもRTX 2080Ti 11GB欲しい・・。

やっぱりVRでは最高品質は出せないし、4Kディスプレイを買うことができない理由にもなっています。ディープラーニングも最近試しているんですが、どうにも2080Tiや2080を使っている人の実績が気になり・・。

ここでGPUを買い換えると、じゃあ初めから1080Tiにしておけばよかったねみたいな話しになり、中古で買うかなどうしようかなと思っている最中です。

やりたいことに合わせてパソコンを買う、っていうのは一見合理的に見えますが、本当にやりたいことは買った後にわかってくるんですね。それならばはじめからいいものを買っておいたほうが後々いろんな制限に困らなくて良い。

ということで、パソコン買いたいなら、デスクトップ。そして最高のパーツをはじめから買うと追加投資が無くていい感じです、ということをお伝えしたかったのですが、お伝え出来たとすれば幸いです。

 

デジタル疲れでレガシー企業が復活傾向 最先端の裏を行け

f:id:orangeitems:20190815135048j:plain

 

オワコンが輝きだす

デジタルの最先端企業の裏で、オワコンと思われていた企業が輝きだす。そんな例がちらほら出てきて面白いなと思います。

 

www.nikkei.com

業績が低迷してきたブックオフグループホールディングス(GHD)が復調している。背景にあるのは宿敵でもあるフリーマーケット(フリマ)アプリ大手、メルカリからの思わぬ恩恵。中古品市場が押し広げられる一方、商品発送など個人間取引の手間を嫌ってリアル店舗に回帰する消費者が増えている。ブックオフは店舗網の拡大などの反転攻勢に動くが、復調が一過性に終わるリスクとも背中合わせだ。

 

最先端分野には厳しい競争が待っていて消耗戦が行われている中、終わった、と思われた企業が復調しだす。これは技術進化が速い中で、全ての最先端技術が全て主役になるわけではないということを示していると思います。世界を変えると思われていた新技術が、実は使ってみたら使いにくくて、ああ昔のアレのほうが良かったねとなる現象です。

今残っている古くからある技術って、実はそんな競争を潜り抜けてきているのでなかなか無くならないのではないかと思います。例を挙げます。

 

強い?オワコン

キーボード

私が初めてキーボードに出会ったのは30年弱前、シャープのMZ-700というパソコンを小学二年生なのになぜか買い与えられて以来となります。全く裕福な家庭でも無かったのですが親が気まぐれで当時流行していたファミコンではなくパソコンを買ってきたおかげでIT業界にすべりこむことができて今では感謝していますが・・。

そのころに出会ったキーボードは、

 

f:id:orangeitems:20190815111552j:plain

出典:ハードの限界を何度も乗り越えた「シャープ MZ-700」 - AKIBA PC Hotline!

 

こんな形をしていまして。基本的には同じ配列です。この時代からほぼ今の形をしていて面白いなあと思います。右上にあるカセットテープは音楽を聴くわけではなく、BASICやゲームを読み込むために存在していました。これはもう無くなってしまいましたので、キーボード強しと言ったところです。

音声入力が出てこようが、スマホのタッチパネルやフリック入力が出てこようが、今でも入力の中心であり尊いよなあと思います。

 

クレジットカード

なんとかペイ全盛かと思いきや、結局はクレジットカード持っておくのが一番速いよなあと思うシーンが多いです。結局なんとかペイだってクレジットカードとひもづいているので、じゃあクレジットカード使った方がはやいよねということで私はまだなんとかペイデビューをしていません。

20%還元キャンペーンのようなことをやって各社数百億の赤字を平気で出していますが、キャンペーンを止めてマネタイズの段階に入ったときに、さて利用者が継続利用するのかは未知数だと思っています。

現金かなんとかペイしか決済を受け付けません、というお店が増えてくれば考えますが、今のところ何とかペイが使える店はキャッシュカードも使えますので何にも困ってないなあと。

 

有線

LANもそうですし、イヤホンもそうなんですが、無線がこれだけ普及しても有線は強いなあと思うシーンは多いです。

有線は最大限の情報を確実に速く届けてくれます。無線LANの場合は2つの接続点に妨害電波や障害物があると不安定になる場合があります。イヤホンの場合、例えば動きの激しいゲームではBluetoothイヤホンでは遅延があり使えません。

きっと5Gが現れても有線は相変わらず登場しますから、100年後もいるだろうなという直感があります。

 

オムニチャネル

AmazonをはじめECサイトばかりになると、実店舗はどんどんショールーム化しなくなっていく。そんな予想もありましたが逆に、実店舗のほうが買いたいお客様を引き付けられているので、ECサイト専業の方がピンチなのではという論も目立ち始めました。

 

jbpress.ismedia.jp

 競争戦略上の観点で言えば、アマゾンをはるかに凌駕する「店舗と従業員というリアル資産」を(アマゾン恐怖指数の他の小売関連企業のように)負債にすることなく、いかに武器化するかが経営上の喫緊の課題であることはいうまでもないだろう。

 

markezine.jp

当社は43年間リアル店舗を中心に展開してきており、ビームスのブランド体験は店頭にあると思っています。いかに店頭でお客様に体験をしてもらうかということを考え、ファッション雑誌や広告など、様々な方法でリアル店舗へ送客していました。インターネット登場後は、デジタルでブランドの価値を伝えて、店頭で購買体験をしてもらうという購買フローを描き、それぞれの最適化を進めています。ECはデジタル施策の中のひとつ、という立ち位置で考えています。

 

ニコニコ動画

オワコンと言われることもあったニコニコ動画、その運営のドワンゴが、痛みを出しつつ黒字化したという話を聞きました。一度整理できた後にこれから何が出てくるのかを注視しています。一度黒字化できた中で新しいことにチャレンジする方が、採算性・現実的な改善策が出てくると思います。プラス方向への転換を期待しています。Youtube疲れ・・なんてムーブメントが起こればチャンスかもしれませんね。

 

www.itmedia.co.jp

 KADOKAWAが8月8日に発表した2020年3月期第1四半期(19年4~6月)の連結決算は、売上高が前年同期比0.2%増の497億4500万円、営業利益が約8.7倍の34億7100万円、最終利益が約7.1倍の26億300万円と増収増益だった。子会社ドワンゴが中核を担うWebサービス事業の営業損益が黒字に転換した他、出版事業などが好調だった。

 

破壊的イノベーションの限界

最近感じるのが、一時流行した「破壊的イノベーション」の限界です。異業種がいきなり飛び込んできて、既存の市場を破壊的に食らいつくすというもの。

レガシーな企業はデジタルに乗り遅れると衰退する。これは正しいとは思うのですが、まるでレガシーが悪いもののように一時扱われました。

世の中は目新しいものが大好きなので、一旦バズるとレガシー企業は悪い影響を受けます。しかしバズったからと言って定着するかは全く不透明。結局は昔に戻るというものもたくさんあります。それよりは、レガシー企業がレガシー資産をデジタルと結び付けてよりサービスを強化したほうが結局は良い、そんなことがわかってきた現在地点だと思います。

Uberが日本のタクシー業界を変えるかと思いきや、タクシー業界がスマホの配車サービスを展開したり。

 

jidounten-lab.com

タクシー配車アプリ戦争が激化している。以前は各タクシー事業者独自の配車アプリがスタンダードだったが、この1~2年でDeNAが配車サービスの本格展開を開始し、海外配車サービス大手のDiDiやUberも参入するなど、業界外の動きが一気に活性化し、タクシー事業者を巻き込んだ勢力争いが激化の一途をたどっている。

 

実は破壊的イノベーションなんて幻想で、その新規参入のアイデアを糧に自社サービスと結び付け、むしろ市場が豊かになるということこそ、DXの本質なんじゃないかな、と思います。破壊するのではなく既存サービスがより豊かになると言った具合です。

デジタルを黒船襲来みたいにして扱うのではなく、世の中をより豊かにするツールとして非破壊的イノベーションが進めばいいなと思います。

 

A8.netのITエンジニア募集記事が面白い

f:id:orangeitems:20190815084315j:plain

 

A8.netの人材募集記事 

私はITエンジニアの中でもクラウドに特化したインフラエンジニアを仕事にしているのですが、転職する予定はなくてもITエンジニアの募集記事は目を通したりします。いざというときの情報収集という面もありますが、それにも増して募集要項の中身にはその募集企業の事情が含まれていて興味深いです。

その中で、今日目にしたのが、アフィリエイトで有名なA8.netの人材募集記事です。

 

------------------------------- 技術者募集 -------------------------------
【企 業 名】株式会社ファンコミュニケーションズ
【概  要】「A8.net」を開発運用するアフィリエイトソリューションプロバイダーの株式会社ファンコミュニケーションズが業務拡大につき技術者を募集中。
【業務内容】A8.net/Moba8.netの企画・設計・開発・運用・保守など。
----------------------------------------------------------------------------

A8.netはブログを持っていらっしゃる方にはとても馴染みのあるサービスだと思います。この運営をされているファンコミュニケーションズ、東京渋谷の企業ですが、企画・設計・開発・運用・保守ということは、全ての工程で募集しているんだなあということで興味を持ちました。

 

私の考え

私はSIerの業界には、SESなどで多重請負ピラミッドの下の方におり、給与が相場より低い方の存在を知っています。しかも正社員でありながら他社のオフィスで常駐する仕事であり、自社にはほとんど帰らない。自分の会社の社員より常駐先の会社のほうを良く知っている。でも常駐先の社員ではないという中途半端な状態。私の二十代~三十代半ばまではそんな身分だったのでよくわかります。

そんな客先常駐しかキャリアがないと言う方は、ぜひ自社サービスを持っている企業への転職を積極的に考えるべきと思います。いわゆるユーザー側への転職です。自社のオフィスで自社のサービスに関わる体験は、SESでいわゆる成果物責任は無く善管注意義務しかない状態とは著しく仕事の感覚が違います。自分の仕事が会社の成果に直接結びついていますから、会社の成長と自分の成長がリンクします。私が客先常駐時代に苦しんだ一つの理由がこれで、いくら客先が成長しても自分の待遇に直接響かない。むしろ問題解決したからお役御免になるケースが多く、限界があるなと感じたものです。

また、客先常駐を長らくやっていると自己評価が低くなる傾向にあると思います。ユーザー企業でやっていけるほどの能力がないのではないか。給与が上がるほどの実力はないのではないか、ユーザー企業とSESではギャップがあるのではないか等々。実際やってみるとそんなことはありませんし、むしろSESで培った技術がユーザー企業が欲しいのです。

ということでSESからユーザー側への転職、私は強くお勧めしておきます。

 

A8.netのインフラエンジニアに記載されている内容を読む

ということで、A8.netの募集リンク、再度掲載しますが・・。

バナーはWebアプリケーションエンジニアと言いながら、じつは3つの職種を応募しています。

・Webアプリケーションエンジニア
・バックエンドシステム開発エンジニア
・インフラエンジニア(A8.net、自社運営メディアなど)

これはもう、全てのエリアで募集しているんだな・・と。Java系の開発経験を持つ方はぜひお目通しください。

で、本題は、私と同じキャリアのインフラエンジニア募集の件です。

 

運用経験にこんなことが書かれています。

 

運用環境)

Linux, Solaris, VMware, AWS
Oracle, MySQL, MongoDB, Aurora, Redshift, TresureData, Fluentd

Apache, Nginx, Nagios, Cacti, Zabbix, Ansible

Cisco, YAMAHA, IPCOM, VPC, DirectConnect

GitHub Enterprise, Slack, Trac

 

応募資格)

学歴・年齢不問
UNIX/Linuxオペレーションに関するスキル
当社サービスに責任とプライドを持って業務に取り組める方

 

【歓迎するスキル・経験】

OS、ミドルウェアの知識
DB、SQLの知識
AWSなどクラウドの知識
VMware(vCenter)の知識・経験
Linuxサーバー上で動作するバッチやシェルの開発・運用経験
業務でのプログラミングの経験
アフィリエイトサイトの運営経験など(個人・業務問わず)

 

これだけ書かれただけで、どんなシステム設計なのかよくわかって面白いなあ・・と。

・AWSを一部使いながらオンプレミスで運用されている。
・オンプレミスにはVMware vSphereを利用している。
・AWSとオンプレミスの間はDirectConnectで接続されている。
・監視はNginxやらNagiosやらCactiやらZabbixやら乱立している。多分Zabbixに今後は寄せていきたいのではないか。
・運用の構成管理にAnsibleを使っている
・データ解析基盤にAWSを利用していて、RedShiftを活用している。今後もAWSの活用を伸ばしていきたい。
・開発用にGitHub EnterpriseやSlackを導入している。

とりあえずはここまでは読めます。

A8.netはアフィリエイト業界の中でも老舗で、Webのフロント側もおそらくはそろそろ一新したいタイミングでしょうから外から人材を受け入れたいのかな、と勝手に思いました。

業務内容を見ると、ほぼすべてに関われるのでかなり経験が積めるのではないかと。

 

業務内容)

サービスの運用
サーバー構築
ネットワーク機器の運用
AWSの運用管理
インシデント管理
外部ベンダ調整・管理
大量データ分析
を行います。

得意分野についてはもちろんですが、

未経験の分野
プロダクト
についても学習していただけるよう業務配分します。

仮想基盤(クラウド、オンプレミス)
OS
ミドルウェア 等
サービス監視
サービス稼働分析
すべてのフェーズに携わっていただく点が、当社インフラエンジニアのポイントです。

 

自社サービスを正社員の立場で関われるというのは本当に良い経験になると思います。自分のことのように考えられ成長した時にはダイレクトに評価されます。予算を見積もったり、ベンダーを選定したり、今後のシステムの方向性に携わったり・・。

インフラエンジニアとしては、オンプレもクラウドも両方携われる老舗のユーザー企業は良いんじゃないかなあと思い取り上げました。この件に限らず、ユーザー企業は昨今の内製ブームでITエンジニア募集を広く行っています。他社の様子が垣間見れるので面白いです。

 

ITエンジニアは個人情報問題で炎上しないためにPIA(プライバシー影響評価)を知ろう

f:id:orangeitems:20190814101020j:plain

 

個人情報のデータ活用に潜むリスク

リクナビが学生の個人情報を元に内定辞退率の予測データを販売していた問題は、これからのWebサービスを考える上で問題提起となったと思います。

 

www.itmedia.co.jp

 リクルートキャリア(東京・千代田)が、就活支援サイト「リクナビ」で得た大学生の個人情報を元に、個人の「内定辞退率」を予測して企業に販売していた問題が炎上している。

 問題となったのは、同社が顧客企業にこの「辞退率」の予測データを提供していたサービス「リクナビDMPフォロー」だ。データを提供するに当たり、同社はプライバシーポリシーの不備で学生約8000人に同意が取れていなかったことが発覚したと発表。個人情報保護法に違反している恐れが強く、同社は5日、同サービスの廃止を表明した。個人情報保護委員会からも既に問題を指摘されている。

 

ユーザー数あってのWebサービスが、ユーザーから嫌われる事態になるということは運営側からすれば死活問題になるということです。リクナビは廃止して鎮火を望むと思いますが、システム導入にかかった費用も含めて大きな痛手になると思います。

今後、システム開発をする際には、利便性だけではなく適切に個人情報が扱われているかを踏まえる必要があるかと思いますがそれは具体的にどのように行動すればよいのでしょうか。

今回のようなデータを利用したサービスは、もともとあったデータを二次活用するシステムですから、初期構築における要件定義ではなくシステム改修の中で生まれがちだと思います。今あるデータを活かしてビジネスができないのか、というのはごもっともだと思いますがその考え方が本体のビジネスにも最終的に悪影響を及ぼすとしたら、むしろ「やらないほうがマシ」だということです。

 

防ぐ方法はあるか

個人情報問題を未然に防ぐために、たくさんのITエンジニアに知っていただきたいワードがPIA(プライバシー影響評価)です。

 

PIAを語る前に、一冊良い本があるので紹介しておきます。

 

プライバシー影響評価ガイドライン実践テキスト (NextPublishing)

 

面白いことに、この本Kindle Unlimited対象なんですよね。もし会員であれば読んでみていただきたい本です。

この本の内容ですが、

日々進歩を続ける高度な情報通信技術により、電子化された個人情報はネットワークを通じて交換されています。それは、消費者に利便性をもたらす一方で、プライバシー(個人情報)漏洩問題やセキュリティに関する懸念を生じさせています。2013年に起こった米国でのスノーデン事件しかり、2015年に日本で発生した日本年金機構での100万件を超える個人情報漏洩事件しかりです。

このような事件・事故に適切に対処するには、個人情報を扱うシステムの構築にあたって、事前にそのリスクを評価し、情報の提供者である個人の安心感を高める必要があります。

プライバシー影響評価(PIA:Privacy Impact Assessment)は、上記の問題を解決するための新しいリスク対策手法として注目されています。それは、個人情報を取り扱う情報システムの導入や改修に際して、個人情報への影響を「事前」に評価する評価手法で、個人情報漏洩や改変などの問題の回避・低減に有効です。

本書は、個人情報を扱う情報システムを構築・運用する者、個人情報を提供する個人、PIAを実施する専門家などのステークホルダーが、新しい個人情報保護の知識を共有することを目的とした、個人情報保護評価(プライバシー影響評価)の実践的なマニュアルです。

個人情報を扱う実務者(たとえば、国が整備するマイナンバー制度に関わる行政担当者・システム構築技術者、個人情報を経営資産として利用する民間組織のシステム導入者など)にとって現場できわめて有効なマニュアルであり、また、プライバシー教育、研究に関与する大学教員、大学院生にも有益な知見となるように工夫されています。

 ということで、PIAを正しく運用していれば防げることがたくさんあるように思います。最近はリクナビもそうですが、Yahoo!スコア、Tポイント・・いろいろとデータ活用段階で炎上することが多いように思います。

 

PIAとは

PIAを身近なものとするために、いくつか記事をご紹介します。

 

enterprisezine.jp

  パーソナルデータの取り扱い開始にあたって、発生する可能性のあるプライバシー侵害リスクを評価し、そのリスクを最小化する取組みである「プライバシーバイデザイン」及びその実践方法である「プライバシー影響評価(PIA)」が近年注目されている。文字どおり、設計段階でプライバシー保護の仕組みを盛り込むことによって、事後的に対処するよりも効率的かつ有効に保護措置を講じることができるという思想に基づいている。今回は、PIAの概要とその可能性について紹介する。

 

tech.nikkeibp.co.jp

 プライバシー保護の対策をするには、事業の全体像を把握し、そこに潜むリスクを洗い出して対応策を検討することが必要だ。しかし経験の無い企業が、こうした検討を一から実施しようとしても、どんなリスクを想定すればよいかが分からずに戸惑うことも多いだろう。

 そこで、「プライバシー影響評価(PIA)」という既にある枠組みを活用しよう。プライバシー影響評価を行うと、どの企業でも「我が社の、この業務」に最適な対策を具体的に考えられるようになる。

 

www.hitachiconsulting.co.jp

政府は、マイナンバー制度導入におけるプライバシー等に対する懸念に対し、番号法第27条の中で、「行政機関の長、地方公共団体の長等は、特定個人情報ファイルを保有しようとするときは、特定個人情報保護評価を実施することが原則義務付けられる」と定めており、マイナンバーを取り扱う前に、個人のプライバシー等に与える影響を予測・評価し、かかる影響を軽減する措置を予め講じるように、PIAの実施を義務付けています。加えて、政府はプライバシー保護対策の策定にあたって検討すべき事項、検討の観点、進め方を明確化したPIA実施指針を定めることで、各自治体のプライバシー保護対策が十分なレベルになるように、取り組んでいます。

 

www.newsweekjapan.jp

米国土安全保障省(DHS)が、向こう4年以内に米国から出国する旅客の97%に対し、顔認証システムによるチェックを実施する計画を発表した。

この顔認証システムは「Biometric Air Exit」と呼ばれ、DHSの税関・国境警備局(CBP)が2016年に最初の1台をアトランタ国際空港の出国ゲートに設置した。2018年末時点で15の空港に設置されている。

(中略)

DHSは、Biometric Air Exitの利用に当たっては既存のプライバシー法および規制を順守しており、定期的にプライバシー影響評価(PIA)を公開して透明性の維持に努めていると主張する。

 

以上のように、PIA自身が注目されたのはマイナンバー制度施行の際です。自治体はマイナンバーを取り扱うのは必須のため、PIAが義務付けられています。

リクナビ問題等のように、大量の個人情報を保有する企業は今後PIAが義務付けられるかもしれませんね。

 

アジャイルに潜む問題も

システムの初期構築時の場合で、ウォーターフォールに基づいて要件定義から実施していく場合だとPIAはやりやすいと思います。しかしビッグデータ活用はもともとシステムがサービスインしてしばらく時間が経ち、有効なデータが集まってから、システム改修の形で構築する場合がほとんどでしょう。

システム改修はウォータフォールで実施するのがほとんどですが、データ活用の場合は試行錯誤が重要です。本番データを複製し、データ解析基盤でいろいろな分析を施した上で特定の傾向が導き出されることを繰り返し検証します。

したがって通常のシステム開発の流れとは違っていて、特定傾向を導き出すデータの抜き出し方を生み出し、そこに対してシステム開発をくっつけていくという順番になるでしょう。

その後、最近のWebシステム運用にありがちなマイクロサービス開発やアジャイルなどの世界で考えると、要件定義の時間をあまり使わずプロトタイプを作りどんどんリリースしていきます。もともとデータの抽出情報は決まっているので開発期間も短縮しサービスインも早く、ビジネスの実装スピードを上げていくのが最近のトレンドです。

この中に、どうPIAを盛り込んでいくかが非常に重要になっていくと思います。技術的にはできる、でもそれは法的にも倫理的にも問題が無いか。

PIA自体が昔からある考え方なので、「年に一回点検します」程度では間に合わず、高速化する開発に取り入れる方法を生み出さなければいけないというのがポイントとなろうと思います。

いざ開発しリリースしてみたら、大炎上。こんなことに巻き込まれないように、ITエンジニアはPIAを積極的に知るべきだと思います。

 

RPA第二章 実用段階に入ったRPAの現在まとめ

f:id:orangeitems:20190813091249j:plain

 

実用段階に入ったRPA

RPAを導入すると業務の〇%が削減!、という言葉が躍った2019年前半でしたが少しずつその実績のもととなった検証段階は終了しつつあると思われます。すでにRPAエンジニアと言われる専業エンジニアも誕生し、いろんな現場でロボットが活躍しだしています。RPAのイベントはどこも人であふれており、RPAを入れるべきかどうかではなく、どう入れるべきかという状況です。

今回は、実用段階に入ったRPAが各社でどう扱われているかを特集した記事をまとめます。

 

まとめ

 

2019/8/13 ITmedia

www.itmedia.co.jp

大規模な定型作業がない企業ではRPAの効果を出しにくい――この見解を覆し、業務を効率化するだけでなく、自社ビジネスを広げるまでに至った企業がある。取締役がたった1人で挑んだプロジェクトの裏では何が起きていたのか。

 

2019/8/13 ZDnet

japan.zdnet.com

RPA(Robotic Process Automation)は、ここ数年で企業導入が加速したテクノロジーの1つだが、運用の歴史はまだ浅い。そこにはセキュリティの観点からどのようなリスクがあり対応が必要なのか、また、メリットも存在するのだろうのか。米Garterで、エンドポイントやアプリケーションのセキュリティリサーチを担当するDionisio Zumerle氏に聞いた。

 

2019/8/12 Bloomberg

www.sankeibiz.jp

 みずほフィナンシャルグループが1万9000人の人員削減、三井住友フィナンシャルグループは5000人弱相当の業務量削減。目を引くメガバンクの合理化計画に一役買っているのが、事務作業をソフトウエアに覚えさせて自動化する「ロボティック・プロセス・オートメーション(RPA)」技術だ。業務効率化を加速させる一方、銀行員にとっては個人の能力がより試される時代に入ることになる。

 

2019/8/8 ITmedia

www.itmedia.co.jp

「RPAを導入したものの、なかなか成果が出ない」とはなっていないだろうか。リクルートグループでRPA導入を進めるリクルートコミュニケーションズの小路聡氏にRPA成功のコツを聞いた。

 

2019/7/30 ITmedia

www.itmedia.co.jp

大企業を中心にRPAの導入が進んでいる。現在まさに過渡期といえる状況だが、トライアルを終えて本格展開をするにあたって、さまざまな企業で共通の課題が顕在化している。いち早く課題を乗り越えて、生産性の向上を実現するヒントとは。

 

2019/3/4 TechRepublic

japan.techrepublic.com

楽天は2017年の中期経営戦略「Vision 2020」で、改善活動で生産性を向上させる取り組みを決定。RPAなどの技術を活用し、付加価値の高いビジネスにシフトする取り組みを推進している。

 

考察

最近のRPAの記事を読むとわかることは、RPAの導入意欲が各社相当に盛り上がっている中で、失敗事例も積みあがっていることです。RPAを導入すると決めたものの、なかなか現場が使わない。担当者を決めたけれども現場と連携できない。現場が暴走して収拾がつかない。現象はいろいろですがRPAを使ったからと言って必ずしも業務改革に結びつくわけではないというのがもっぱらの見方です。

失敗した、もしくは成功しないでもがいている企業は、一度手を休め、成功事例を研究すべきときに来ていると思います。またRPAをどういう風に導入すれば成功するのか、導入コンサルのような立場の人たちも増えてきています。これはすでに実用段階に入ったからこそのメリットです。数年前まではどの会社も試験段階でしたが上記記事のように活躍しているロボットもたくさんいるのですから、それに関わった技術者と積極的に交流するべきだと思います。決して社内に閉じこもってあれこれ悩んでも解を出すのは難しいでしょう。それはユーザー会等ではなく、きちんとお金を支払って導入コンサルを受けるべきかと思います。

また、なんとなく導入してしまった企業も、他の企業と比べて劣っている点はないかを点検するべきでしょう。特にセキュリティーの分野は今のうちから対策をするべきだと思います。RPAは自動化を助けるソフトウェアですが、逆を返せば攻撃にも自動化を許します。RPAを利用するマルウェアが登場するのも時間の問題だと思います。各RPAソフトウェアはどんどん進化しているものの、ユーザーはバージョンアップをなかなかしない傾向にあります。スタンドアローン型で配布していて管理者が特にいない場合は特に注意が必要だと思います。

RPAソフトウェアについてはいくつか種類があります。

 

monoist.atmarkit.co.jp

 RPA(Robotic Process Automation)エンジニアのプラットフォーム事業などを展開するPeaceful Morningは、2019年7月31日、RPAエンジニアがどのような開発経験を持つかについてのデータを公開した。

 このデータは、同社が提供するサービス「RPA HACKフリーランス」に登録しているRPAエンジニア100人の回答をまとめたものだ。RPA HACKフリーランスは、企業にエンジニアを紹介するなどして、企業のRPA人材不足や、エンジニアが自分らしく働く上で法人、個人それぞれが抱える課題を解決することを目的としている。

 

上記の調査はなんとなく肌感と一致しています。WinActorはNTTの経済圏で相当導入が進んでいますし、UiPathは無償エディションやフリーのeラーニングが充実していて勉強しやすいのが強みです。ただ、この調査に現れないソフトウェアもいくつかあって、RPA市場は混沌としているのが現状です。

何のソフトウェアがいいか、というのがたまに論争になりますが、これはおそらくプログラミングでJavaがいいのかPythonがいいのか、それともPHP、C#、・・どれがいいのかという議論と非常に似ているような気がしています。すでにプログラミングの世界ではどの言語がいいのかということを争うことは不毛だという空気があり必要に応じて使い分ければいい。迷うぐらいなら両方覚えればいい。そんな状況ですがRPAも同様だと思います。選択する必要があるのなら両方の提案を受けて、価格やサポート体制、ベンダーの性格などを吟味すればいいのであって、日進月歩のこの世界で優劣を決めても意味はないかなと思います。むしろ優劣で争うぐらいなら両方とも覚えてしまえばITエンジニアとしては強みになろうと思います。

RPA導入事例をまとめた本もそろそろではじめていますので、一読するのも良いでしょう。成功事例こそ今は宝です。

 

 

 

2019年はすっかりRPA成長の年となりました。年末に向けてさらに勢いは出てくると思いますが、ぜひ先行事例を学習し、各社が導入に成功してもらいRPAに関わる人々が笑顔になれる状況となったらうれしいです。