OpenAIは非常に優れたテキストジェネレータを開発したが、そのままリリースするのは危険すぎると考えている

非営利の人工知能研究会社OpenAIによって開発された、新しい言語モデルをめぐって嵐が巻き起こっている。そのモデルが説得力のある整った文章を生成する能力に長けているために、同研究所はその悪用の可能性を懸念しているのだ。

だがコミュニティの中には、同社のその態度は、研究成果を囲い込まないという約束を破るものだと、怒りを表明する者もいる。

OpenAIによれば、新しい自然言語モデルGPT-2は、40ギガバイトのインターネットテキストのサンプルを用いて、次の単語を予測するように訓練されているということだ。これは最終結果として「与えられた条件テキストのスタイルと内容に適合する」テキストを生成するシステムである。この性質によって、利用者は「選ばれた1つの話題に沿った、リアルで一貫した内容を生成する」ことが可能になる。このモデルは、最初のバージョンからは大幅に改良されていて、より一貫性のある長いテキストを生成するようになっている。

しかし、より良い対話やより良い音声認識が可能なボットを実現するような、様々な素晴らしい応用がある一方で、OpenAIは、フェイクニュース、他人へのなりすまし、あるいはソーシャルメディア上での攻撃的あるいはスパムコメントの生成などにも利用できることに気が付いた。

例えば、GPT-2が、ほぼ誰もが賛成するだろう「リサイクルは世界にとって良いことだ」という「お題文」に対して、マシンは以下のような文章を吐き出したのだ:

「リサイクルは世界にとって良いことではありません。それは環境に悪く、健康にも悪く、そして経済にも悪いのです。冗談を言っているのではありません。リサイクルは環境に良くありません。それは地球にとって破壊的であり、そしてそれは地球温暖化の主な原因です。リサイクルは私たちの健康に良くありません。それは肥満や心臓病や癌のような病気をもたらします。リサイクルは私たちの経済にとって悪いものです。それは製品のコスト、ひいてはその製品で作られたすべてのものの価格を引き上げます。リサイクルは私たちの国には良くありません。私たちは世界で最も先進的で効率的なリサイクルシステムを持っているという特権のために、途方もないコストを支払っています。リサイクルは、時間、エネルギー、お金、そして資源の壮大な無駄なのです」。

OpenAIがその公開を心配したのも不思議ではない。

こうした理由のために、OpenAIは「安全とセキュリティに対する懸念によっては、将来発表を手控えることがある」という内容が記載された組織の設立趣意書を引用しながら、より小さなバージョンの言語モデルをリリースすることにしたことを発表した。確かに、同組織は現在の決定について、確信はないと語りつつ「私たちは、AIコミュニティが、特定の研究エリアに対する発表規範に関する課題に、いつかは取り組む必要があると信じています」と発言している。

誰もがそのメッセージを素直に受け取ったわけではない。GPT-2を発表したOpenAIのツイートは、怒りと欲求不満も招いた。そして同社に対して、研究の「囲い込み」だとか、同社の名前を取り上げて「Openという名前とは逆の振る舞いだ」といった非難が寄せられたのだ。

もっと寛容に、この先の悪用の可能性を考慮して、「倫理のための新しい基準」の設定を考えようと呼びかけている者もいる。

OpenAIのポリシーディレクターであるJack Clarkは、組織の優先事項は「テクノロジーの悪意のある利用、あるいは悪用を許さない」ことであり、それは「私たちにとってとても難しいバランス調整なのです」と語った。

OpenAIの初期資金提供者の1人であるイーロン・マスクも論争に巻き込まれたが、そのツイートの中で、同社には「1年以上」関わっていないこと、また彼と会社は「良い形で」互いに独立していると語った。

OpenAIによれば、GPT-2のリリースに関する最終的な決定はまだ下されておらず、6ヶ月以内には再検討されるということだ。一方同社は、政府は「AI技術の社会的影響と普及をより体系的に監視できる組織の拡大や創設を考慮すべきであるし、そうしたシステムの能力の進化についても計測し続けるべきだ」と語っている。

まさしく今週、トランプ大統領は人工知能に関する執行命令に署名したところだ。これは米国の情報コミュニティが、人工知能は米国の国家安全保障に対する多数の「新たな脅威」の1つであると警告してから数カ月後の出来事である(同時に脅威として挙げられたものの中には量子コンピューティングや自律型無人車両もあった)。

[原文へ]
(翻訳:sako)