AIとムーアの法則のポスト指数関数的成長時代を迎えて

私のMacBook Proは3歳になった。そして3年使ったメインコンピューターを、すぐに何とかしなければならない危機的状況と感じないのは人生で初のことである。まあ確かに、その原因の一部はApple(アップル)がキーボードの大失敗を解決するのを待っているからだし、また別の原因の一部はいまだに個人的にはTouch Barを受け入れることができないからだ。しかし、この3年の間に行われたパフォーマンスの向上が、これまでのようなものではないというのも理由の1つなのだ。

画像クレジット: Maksim/Wikimedia Commons under a CC BY-SA 3.0 license.

過去50年間では、私たちの世界のコンピューティングパワーの、気が遠くなる程に容赦のない指数関数的成長を表している「ムーアの法則」が、世界で最も重要な力だったと言っても過言ではない。そのため、その法則の減速および、終焉は事件なのだ。単に各家庭や各自の財布の紐が固くなることが問題だというわけではない。

もちろん私たちは皆、他の分野で指数関数的な成長が起きて、別の似たような時代を迎えられることを期待して生きてきた。AI/機械学習は大きな希望だった、特にAIがAIを指数関数的なペースで何十年にもわたって改善していくという、機械学習フィードバックループというはるかなる夢があった。それは今では、とてもありそうには見えなくなっている。

実際のところ、これまではずっとそうだった。数年前、私はあるAI企業のCEOと話をしていた。彼の主張はAIの進歩は基本的にS字カーブを描くというもので、私たちは既に音声処理に関してはカーブのトップに到達し、画像と動画についてはトップに近付いていて、テキスト処理に関してはまだ道半ばだという話だった。彼の会社がどの分野を専門としていたのかは明らかだが、その主張はまったく正しかったようだ。

先週のはじめ、OpenAIはAI(技術的に言えばこれは「AI訓練実行の最大値」を測定したものだが、傾向を示唆しているように見える)によって使用される計算能力がどのように増大しているかに関する、昨年の分析公開した。その結果は「必要な計算量は3.4カ月ごとに倍増している(比較のために言うなら、ムーアの法則では2年ごとに倍増)。2012年以降、この指標は30万倍以上に成長した(もし倍増期間が2年だったとすると、わずかに7倍の増加にとどまったはずだ)」というものだった。

それはAI技術を進歩させるための多大な計算能力だが、この計算の成長が継続できないことは明らかだ。成長「しない」ではない。 できないのだ。残念なことに、AIを訓練するために必要なコンピューティングパワーの指数関数的成長は、ムーアの法則による指数関数的成長の衰退とほぼ同時に起こっている。この問題に多くの資金を投じても助けにはならない。繰り返すが、ここでは指数関数的成長率についての話をしているのであって、線形的費用調整では物事は変化しないだろう。

重要なことは、倍増の期間を縮めるために大幅な効率のブレークスルーとパフォーマンスの改善を想定したとしても、コンピューティング能力の集団的成長が鈍化し始めているために、AIの進歩は徐々に計算能力に制限されていくように見えるということだ。おそらくある種の突破口があるのかもしれないが、もしそれがなければ、AI/機械学習の進歩はそれほど遠くない近い将来に、横ばいになるのを見ることになるかもしれない。

[原文へ]

(翻訳:sako)

シリコンへの回帰が新たな巨大ハイテク企業を生む

Netflixを見まくったり、ネット対応の新しいドアホンを家に取り付けるごとに、私たちは大きなデータの潮流を引き起こす。わずか10年の間に帯域幅消費量は100倍に増え、今後も、人工知能、仮想現実、ロボティクス、自律運転車といったレイヤーを重ねることで、その量は減るどころか増える一方となる。Intelによると、1台のロボットを90分間走らせただけで4TBのデータが生成されるという。これは、同じだけの時間、私たちがチャットをしたり、動画を視たり、その他のインターネットで楽しい時間を過ごしたときに発生するデータ量の30億倍以上になる。

ハイテク企業は、サービス満載の巨大なデータセンターを建設して対応してきた。しかし、データ消費量は、もっとも野心的なインフラの造設も追いつけないほどのペースで伸び続けている。つまり、現在のテクノロジーに依存している限り、データ処理の需要は決して満たされないということだ。

データ処理の鍵を握るのは、言うまでもなく、半導体だ。このトランジスタを無数に埋め込んだチップが今日のコンピューター産業を駆動している。この数十年間、技術者たちはより多くのトランジスタをより小さなシリコンウェハーに押し込む技術の開発を推し進めてきた。現代のIntelのチップは、1mmサイズのシリコンの上に10億個以上のトランジスターが詰め込まれている。

この流れは「ムーアの法則」として知られている。Intelの共同創設者Gordon Moore(ゴードン・ムーア)氏が1965年に残した有名な言葉を彼の名にちなんでそう呼んでいる。それは、チップに搭載できるトランジスタの数は1年ごとに2倍になる(後に2年ごとに改められた)というものだ。従って、コンピューターの演算速度と性能は2倍になる。

小型化を進めつつ性能を飛躍的に伸ばしてきたチップは、私たちのテクノロジーを、この50年ほどの間、着実に牽引してきた。しかし、ムーアの法則は終わりに近づいてる。素材物理学という不変の法則が存在するためだ。現在のプロセッサーの製造技術では、もうこれ以上のトランジスタをシリコンウェハーには載せられないのだ。

さらに困ったことに、私たちをここまで引っ張り上げてくれたx86という、今日広く使われている汎用チップのアーキテクチャは、これから一般的になりつつある新しいコンピューターの利用法には適してない。

つまり、新しいコンピューティングアーキテクチャが必要になるということだ。実際私も、今後2~3年の間に、新しいシリコン・アーキテクチャやデザインがいくつも開花するものと予測している。それらは、大量のデータに長け、人工知能や機械学習、そしていわゆるエッジコンピューティング機器などに特化した機能に最適化されたものだ。

新しいアーキテクチャ

そうした専門性を持つ新しいアーキテクチャは、すでに方々の最前線に現れている。Nvidia(エヌビディア)のGPU(Graphic Processing Units)、Xilinx(ザイリンクス)のField Programmable Gate Arrays、Altera(Intelが買収)、Mellanox(Nvidiaが買収)のスマートネットワークインターフェイスボード、そしてMayfieldが投資したスタートアップFungibleのデータプロセッシングユニット(UPU)と呼ばれるプログラマブルプロセッサの新たなカテゴリーなどだ。DPUは、あらゆるデータインテンシブな作業負荷(ネットワーク、セキュリティ、ストレージ)に対応するよう目的を絞って作られる。Fungibleは、それをフルスタックのプラットフォームに結合して、データセンターで従来の主力であるCPUと並行して使えるようにする。

これらの、そしてその他の目的に合わせて設計されるシリコンは、セキュリティからスマートドアホン、はては自律運転車やデータセンターに至るまで、固定化された仕事を熟すエンジンとなる。こうしたイノベーションを起こす、そしてそれを生かす市場には、新しい企業が現れるだろう。実際、これらのサービスが成長し、その性能が生命線となる5年後には、まったく新しい半導体のトップメーカーが登場すると私は信じている。

さあ、あらゆるものがつながる接続時代の強力なコンピューター施設を立ち上げよう。それはデータセンターだ。

データ保管やコンピューティングは、ますますエッジで行われるようになっている。つまり、そうした処理を必要とする私たちのデバイスに近い場所だ。ドアホンの顔認証ソフトウエアや、VRゴーグルで繰り広げられるクラウドを利用したゲームなどもそれにあたる。エッジコンピューティングなら、そのような処理を10ミリ秒以内で熟せるため、エンドユーザーのために、もっと多くの仕事ができるようになるのだ。

現代のx86 CPUアーキテクチャの算術計算では、大規模な、または大容量のデータサービスを展開することが難しい。自律運転車は、データセンターレベルの敏捷さと速度に大幅に依存する。歩行者が横断歩道を渡っているときに、データのバッファリングなどしていられない。私たちの作業インフラは、そして自律運転車などが必要とするものは、これまでになくデータ中心(大きなデータセットの保存、読み出し、マシン間での転送)になってきているため、新しい種類のマイクロプロセッサが必要になる。

この他に、新しい処理アーキテクチャを必要とする分野に人工知能がある。AIのトレーニングと推論(たとえばスマート・ドアホンが安全な人間か不審者かを見分けるなど、データから推論を行う際にAIが用いる処理)の両方だ。グラフィック・プロセシング・ユニット(GPU)は、そもそもゲームを処理するために開発されたのだが、AIのトレーニングや推論では、従来のCPUよりも効率が高いことがわかった。

しかし、AIの作業(トレーニングと推論)を処理するためには、画像分類、オブジェクト検出、顔認証、自律運転などのための専用のAIプロセッサが必要になる。これらのアルゴリズムの実行に必要な演算では、ベクトル処理や浮動小数点演算を、汎用のCPUに比べて劇的な高速度で行わなければならない。

AI専用チップに取り組んでいるスタートアップに、SambaNova、Graphcore、Habana Labsなどがある。これらの企業は、機械知能のための新しいAI専用チップを開発した。それはコストを下げることでAIの導入を促進し、性能を劇的に向上させる。有り難いことに、彼らのハードウェアを使うためのソフトウェア・プラットフォームも用意されている。もちろん、 Google独自のTensor Processing Unitチップを開発)やAmazon(EchoスマートスピーカーのためのAIチップを開発)といった大手AI企業も同時のアーキテクチャに取り組んでいる。

モノのインターネット(IoT)と呼ばれるネット対応ガジェットが、ようやく増えてきた。パーソナルツールや家庭用ツール(暖房のコントローラー、煙感知器、歯ブラシ、トースターなど)の多くが、非常に低電力で動くようにもなった。

CPUファミリーのARMプロセッサは、そうした役割を担うようになるだろう。これらのガジェットは、複雑な演算も大きな電力も必要としないからだ。そこではARMアーキテクチャは理想的だ。少ない数の命令を処理するように作られていて、その分、高速処理が可能になる(1秒間に何百万という命令の中を駆けめぐる)。しかもそれは、複雑な命令の実行に必要とされるパワーの数分の一で済む。やがては、ARMベースのサーバー・マイクロプロセッサがクラウド・データセンターで活躍するようになるとさえ、私は考えている。

これらすべてはシリコンの上で行われるため、私たちはそもそものルーツに回帰することになるだろう。私は、シリコンバレーにシリコンを呼び戻す投資家を応援したい。そして彼らが、新たな半導体巨大企業を生み出すものと信じている。

【編集部注】著者のNavin Chaddha(ネイビン・チャダー)氏は、消費者向けおよび企業向けのアーリーステージのハイテク系企業を対象とした投資会社Mayfieldの代表。現在27億ドル(約2870億円)の運用資金を有する。

[原文へ]

(翻訳:金井哲夫)

ムーアの法則が曲がり角を迎えた今、コンピューティングはどうなって行くのか

【編集部注】著者のMark PapermasterAMDのCTO(最高技術責任者)兼上級技術担当副社長である。

私たちは、コンピューティングの真の変化を迎え、テクノロジーと接する手段が変化していく日々の真っ只中にいる。

埋め込みセンサーとインターネット接続性が次々に取り込まれることで、私たちの利用する殆どの機器が「スマートデバイス」へと変化しつつある。それらの機器は私たちの声に応答することが可能で、その一方で大量のデータを生成し、ネットワークの端にあるハブコンピュータや、クラウドの中でデータの解析が行われている。

私たちは、仮想ならびに拡張現実(VR / AR)の応用がまさに始まりつつあることを目撃している。よりリアルな体験を得るためには、それらのテクノロジーは膨大な計算とグラフィック処理を必要としている。これは、大量のデータをふるいにかけて、タイムリーでコンテキストにふさわしい情報を提供したり、日々のありふれた仕事を引き受けることができるように教育できる機械学習アプリケーションの、驚異的な進化と強く結びついている。これらの新しいアプリケーションは、より手頃な価格レベルでより多くの計算能力を提供するために、業界に挑戦している。

この増え続ける多くの計算需要に対する供給が、特に困難なものだ。半導体の進化を示すムーアの法則(Moore’s Law)のペースが鈍化しているからだ。

ムーアの法則とは、より高いパフォーマンスとエネルギー効率を実現し、回路サイズも縮小しながら、約2年ごとにチップ上のトランジスタ数が倍になるという傾向として定義されている。かつては、それぞれの世代の半導体テクノロジーは、次世代のコンピュータチップを安くそして速くすることができるということに、疑いを抱いていなかった。

しかし物理学の法則を欺くことはできず、私たちは物理的に設定されたトランジスタの微細化の限界に突き当りつつある。それでも新しい半導体技術群が、まだ今後10年の間には更なる小型化と省電力化をもたらすだろう。しかしそのコストは増大し、速度に関してはこれまでのような改善は期待できない。

物理学の法則を欺くことはできず、私たちは物理的に設定されたトランジスタの微細化の限界に突き当りつつある。

ということで、私たちはムーアの法則によるこれまでの改善速度が鈍化する一方、新しい計算集約型のアプリケーションが指数関数的に増大する能力を求めるという、対立的図式に直面しているのだ。これは、より多くのデータとデータ処理、更なるリアルタイム情報、およびより素早いサービスを飽くことなく求める消費者たちの需要によって、突き動かされている。自動運転車、ドローン、ロボットといったものすべてが、大規模でよりリアルタイムな、情報の処理、推論、そして解釈を必要としている。

フェールセーフ動作や迅速な応答性のためには、計算を全てクラウド内で実行することはできない。私たちは計算がネットワークの端を離れ、さらにユーザーに近付く必要性があると考えている。スマートアプリケーションとAR/VRインターフェイスの登場が、車そして、家庭やオフィスの中で、クラウドとの接続は行いつつも、手元での高い計算能力を必要としている。

数百万もの「モノのインターネット」デバイスの中に遍く埋め込まれたセンサーたちが、私たちの生活と仕事のデジタル化と歩調を合わせて、データ量の爆発を招いた。この巨大なデータ宝庫が、膨大な量のデータのリアルタイム処理と分析の必要性を導いている。私たちは、情報を視覚化して重ねたり、私たちがいる環境の周りにイメージを混在させて表示できるような、ハイブリッドVR/AR空間で、そうしたデータを利用したいのだ。そのような需要は、私たちがテクノロジーとのインターフェイスを行うやりかたを根本的に変え、さらなるテラフロップス計算パフォーマンスを必要とする。

この計算パワーは、仮想ならびに拡張現実をリアルな映像としてレンダリングすることを可能にし、コンテキストに関連した情報や映像を、実世界のビューの上にオーバーレイ表示する。

ロイヤルカレッジ医学校(The Royal College of Medicine)では、既に手術をVRで記録しており、そしてARオーバーレイが、外科医のより正確な手術を助けるために、リアルタイム情報を提供することも容易に想像できるだろう。これらは本当にディスラプティブ(破壊的なほどに革新的)なアプリケーションだ。

もしコンピューティング進化の速度がこのままならば、こうしたディスラプション(破壊的革新)が多くの産業に次々と影響を与えて行くことだろう。しかしムーアの法則が鈍化するこの時代に、速度を維持するためには、どのようにすることが最も良い方法なのだろう?どのようにより多くの計算能力を提供して行くのだろうか?

将来のパフォーマンス向上を促すために、エンジニアたちに操作できる沢山のレバーがあることが判明している。これは私が「ムーアの法則プラス」(Moore’s Law Plus)と呼んでいるものだ。それは、エンジニアたちがよりクリエイティブで学際的になり、そして異業種コラボレーションを推進することを求める。ムーアの法則プラスは、主に4つの要素に基いて技術革新のための扉を開く。

  • 新しいコスト効率的なパッケージングおよび相互接続技術と、より小さな半導体デバイスの統合。これは、斬新な方法でチップ技術をまとめる柔軟性をもたせる。
  • 専門アクセラレータと共に、計算プロセッサ(CPU及びGPU)のヘテロジニアス(異なる種類)な組み合わせを利用し、先進的なメモリからデータをこれらのエンジンに送り込む。
  • プログラミングを容易にしヘテロジニアスな計算資源の利点を活かす、オープンソース・ソフトウェアと開発フレームワーク。
  • 機械学習、データ分析、およびVR / ARのためのレンダリングといった高度な計算を使うアプリの開発を容易にするソフトウェアアプリケーションのエコシステム。

ムーアの法則プラスの時代には、大学と産業界が、パフォーマンス向上のためにこれらのレバーを操作する。製造の最前線では、極端紫外線リソグラフィ(Extreme ultraviolet lithography)が小さなプロセスノードを推し進めるために有効な役割を果たし、新しくより小さなトランジスターへと導くだろう。これらは、新しい低抵抗の金属構築物と一緒に配線される。半導体の製造に更なる進歩があるだろう。

PC上であるかモバイル上であるかを問わず、将来のアプリケーションはより多くのメモリを必要とする。サーバーの場合には、特に機械学習、仮想化アプリケーション、およびデータベース処理などの特定のワークロードが、より多くのメモリに対する貪欲な需要を持っている。しかし、メモリの対前年比密度の上昇は鈍化している。こここでも、イノベーションが、新しい不揮発性メモリおよびスタックドメモリで見ることができるような、新しい拡張へと導くのだ。

1つの有機パッケージに複数のダイを接続するための、より安価なパッケージングテクノロジーの進化もある。CPU、グラフィックス、スタックドメモリなどのチップ要素が、下支えするウェハーなしに接続される、3Dダイスタッキングがもっと増えるだろう。さらには、光接続をダイに対してネイティブに行うことのできる技術も現れ始めている。これらは、パフォーマンスのためだけでなく、システムデザインの柔軟性にとっても重要だ。そして電源を切ったときに、コンテンツが失われないように、より深く密度の高い不揮発性の永続的メモリに効率的に接続できる、新しいコンピューティングへのアプローチのためにも。

私の見解では、ムーアの法則プラスの18〜24ヶ月の成長率にとどまるための努力は、これらの新しいアプローチを簡単にプログラムできるようにできなければ、全て無駄なものとなる。CPUのためのエコシステムはそこにあるが、もしGPUや他のアクセラレータを活用したいなら、オープンアプローチが必要だ。独自のアプローチを取るものもあり、それは動作してはいるものの、コスト高だ。

AMDはHeterogeneous Systems Architecture(HSA:ヘテロジニアスシステムアーキテクチャ)財団を共同設立して、これらの異なる技術(CPU、GPU、そしてFPGAなども含む固定機能アクセラレータなど)が同時に働き、メモリを共有し、システムの立場から最適化されることを目指している。

ムーアの法則プラスの世界での進歩を継続するには、複数のメーカーによる半導体産業を横断した共同エンジニアリングと協力的アプローチが必要であり、大学とも協働して、更にはプログラミングを容易にする環境を作成するためのオープンスタンダードが必要だ。これが、企業たちがより多くのトランジスタを加え、コストカーブを管理することができると私が信じている理由だ。

これら全てを合わせれば、コンピューティングの更なる加速が実現される。ムーアの法則プラスならば、ムーアの法則の速度に遅れをとることはなく、ディスラプションに燃料を加え続けることができる。

[ 原文へ ]
(翻訳:Sako)