私のMacBook Proは3歳になった。そして3年使ったメインコンピューターを、すぐに何とかしなければならない危機的状況と感じないのは人生で初のことである。まあ確かに、その原因の一部はApple（アップル）がキーボードの大失敗を解決するのを待っているからだし、また別の原因の一部はいまだに個人的にはTouch Barを受け入れることができないからだ。しかし、この3年の間に行われたパフォーマンスの向上が、これまでのようなものではないというのも理由の1つなのだ。
画像クレジット: Maksim/Wikimedia Commons under a CC BY-SA 3.0 license.
過去50年間では、私たちの世界のコンピューティングパワーの、気が遠くなる程に容赦のない指数関数的成長を表している「ムーアの法則」が、世界で最も重要な力だったと言っても過言ではない。そのため、その法則の減速および、終焉は事件なのだ。単に各家庭や各自の財布の紐が固くなることが問題だというわけではない。
もちろん私たちは皆、他の分野で指数関数的な成長が起きて、別の似たような時代を迎えられることを期待して生きてきた。AI/機械学習は大きな希望だった、特にAIがAIを指数関数的なペースで何十年にもわたって改善していくという、機械学習フィードバックループというはるかなる夢があった。それは今では、とてもありそうには見えなくなっている。
実際のところ、これまではずっとそうだった。数年前、私はあるAI企業のCEOと話をしていた。彼の主張はAIの進歩は基本的にS字カーブを描くというもので、私たちは既に音声処理に関してはカーブのトップに到達し、画像と動画についてはトップに近付いていて、テキスト処理に関してはまだ道半ばだという話だった。彼の会社がどの分野を専門としていたのかは明らかだが、その主張はまったく正しかったようだ。
先週のはじめ、OpenAIはAI（技術的に言えばこれは「AI訓練実行の最大値」を測定したものだが、傾向を示唆しているように見える）によって使用される計算能力がどのように増大しているかに関する、昨年の分析を公開した。その結果は「必要な計算量は3.4カ月ごとに倍増している（比較のために言うなら、ムーアの法則では2年ごとに倍増）。2012年以降、この指標は30万倍以上に成長した（もし倍増期間が2年だったとすると、わずかに7倍の増加にとどまったはずだ）」というものだった。
それはAI技術を進歩させるための多大な計算能力だが、この計算の成長が継続できないことは明らかだ。成長「しない」ではない。 できないのだ。残念なことに、AIを訓練するために必要なコンピューティングパワーの指数関数的成長は、ムーアの法則による指数関数的成長の衰退とほぼ同時に起こっている。この問題に多くの資金を投じても助けにはならない。繰り返すが、ここでは指数関数的成長率についての話をしているのであって、線形的費用調整では物事は変化しないだろう。
重要なことは、倍増の期間を縮めるために大幅な効率のブレークスルーとパフォーマンスの改善を想定したとしても、コンピューティング能力の集団的成長が鈍化し始めているために、AIの進歩は徐々に計算能力に制限されていくように見えるということだ。おそらくある種の突破口があるのかもしれないが、もしそれがなければ、AI/機械学習の進歩はそれほど遠くない近い将来に、横ばいになるのを見ることになるかもしれない。
[原文へ]
（翻訳：sako）
