orangeitems’s diary

クラウドで働くインフラエンジニアの日々の感想です(ほぼ毎日更新)。

「超計算」後の大きな課題

f:id:orangeitems:20191019095220j:plain

 

これまでにない計算パワー

日経新聞の「超計算」の話題。言いたいことはよくわかる。

 

www.nikkei.com

人工知能(AI)などに続く革新的技術として期待される量子コンピューターが「スーパーコンピューターを超える日」が近づいてきた。米グーグルは、理論上の概念だった性能を実証し、最先端のスパコンで1万年かかる問題を瞬時に解く実験に成功したもようだ。米IBMなども研究に力を入れる。急速な進歩はいずれ人類にこれまでにない計算パワーをもたらす。AIの活用や金融市場のリスク予測などを通じ、社会にディスラプション(創造的破壊)を起こす可能性を秘める。

 

もともと、2020年あたりに量子コンピュータを筆頭にして、これまでの「ノイマン型」と呼ばれるコンピュータの基礎的なアーキテクチャーが刷新されるという噂がいろいろなベンダーから聴かされてきた。

2020年を目の前にしてベールを脱ぎ始めたというか、一般人の近くまでついに来るかもしれないというプロローグのような記事だと思う。

ただし一筋縄ではいかない。

私が機械学習を含めAIに触れる中で、課題だと思うところをまとめておきたい。

 

超計算ができた後の課題

確かに、機械学習におけるトレーニングは時間もかかるしコンピュータリソースを食う。まず、大量のデータを保管するストレージが必要である。そのうえでそれを読み込み計算するGPUやCPUなどの演算装置を用意し延々と計算させる必要がある。これが長時間かかるからこそ、超計算が必要だと人類は気が付いており、日経の記事に至る。もちろん計算能力が飛躍的に高まれば大量のデータから結果を出すスピードが飛躍的に上がり、結果を出すスピードが速まる。例えば100GBほどのデータを読み込みトレーニングするのに1日かかるとすれば、それを数秒で終わらせるような世界だろう。それが実現できるのであれば今のコンピュータの世界は一変する。

ただし、である。

コンピューターは演算装置だけで成り立っているわけではない。メモリ、ストレージ、ネットワークといろんな組み合わせがあってこそ機能する。もし超計算だけ手に入れたとしても、どう考えても課題が残る。

直感的に思うのはストレージだ。テラバイトやペタバイトクラスのデータを機械学習で取り扱うとき、そのデータの置き場所が必要だ。いくら計算が速くたってデータがなければ計算できない。その置き場所を確保したとして、その取り回しが遅い。1つの計算結果を出したとして、次のデータ、次のデータ、となると端的に「処理したくなるデータ量」が累積的に増える。

例えば凄腕のデータサイエンティストが今現在いるとして、江戸時代にタイムスリップしたらどうなるだろう。いくら彼が頭が切れると言っても、紙と筆しかない状況で結果が出せるだろうか。

今、機械学習をパソコンでやっていても、データの取り回しが面倒だ。一つ結果を出し終わるたびに、そのデータをアーカイブするために大容量のストレージに移動するのだがそのためにかかる時間もバカにならない。

そう、計算することがいくら速くなっても、データの取り回しに時間がかかるのなら本来の超計算のパフォーマンスが出せない。というより使うまでの時間がかかりすぎてしまう。

来年は5G元年、のはずだが私の手元に5Gが来るのはもっと先か。もし5Gになると遠隔に大容量データを送ることができると言われる。しかしそれでは今回の超計算のためには役不足である。今のローカルネットワークのスピードがモバイルネットワークにもたらされるだけであり、ローカルネットワークが速くなるわけではない。ネットワークもまだ超計算を活かすにはまだ前世代的だ。例えストレージが劇的に速くなる、その頃には超速ストレージとでも言うのだろうか、そうなったときにストレージ間を移動するネットワークが必要になる。

一方、一台のコンピュータの中で全て完結できると仮定するとネットワークは議論から外れるのだけれども、結局はコンピュータの中にストレージがあり、メモリがあり、演算装置がある。それをつなぐバスと呼ばれる部分がありその速度が問題となってくる。最近はメモリとストレージを一体化する研究も進んでいるけれども、物事を上から見ても下から見ても一緒で、演算装置にはストレージが必要で、それをつなぐバスのスピードが大事になる。ストレージを分散することで並列としパフォーマンスを上げるなら、その間のネットワークが重要となる。

インテルがCPUだけではなくメモリーの研究をしているのもこのあたりに鍵があって、アーキテクチャー全体で考えないといくら計算だけ速くったって性能が出せない。

 

現実解

量子コンピューターの話題は1980年ごろから存在して、ようやく2020年に向けて市場に姿を現しつつあるのだけれども、結局はノイマン型コンピュータの進化のほうが先に行く可能性もある。GPUやCPU、メモリ、ストレージ、ネットワークの改良を繰り返し、我々が手に入れられる超計算は、その未来版なだけかもしれない。

それはそれで楽しみにしていて、もちろんリリースされたら買う。買いたい。

今より数十倍速いCPU、GPU、メモリー、ストレージ、ネットワーク。

でも今、店頭には売ってない。

とりあえず、それを夢見ながら、今日も私のCore i7、GeForce RTX 2080、M.2 SSDが、なまあたたかい風と風切り音をファンから出しながら、あくせくと働いています。

研究者やベンダーの方、商品化を楽しみにお待ちしております。