MicrosoftのAIボットTayがTwitterに復帰、再びスパムの大洪水、そしてまた眠らされる

screenshot-2016-03-30-14-58-001

MicrosoftのAIボット”Tay”は、インターネットによって人種差別主義者にさせられたために黙らされてしまったが、今日(米国時間3/29)Twitterに短時間戻り、スパムの熱弁を続行したが、すぐにまた沈黙した。

TayはMicrosoft Technology and ResearchとBingのチームが、会話による理解を研究するために作り、人間との対話から学ぶ能力がある、とされていた。しかしインターネットはご存知のとおりの現状だから、Tayはそこから大量の不適切な言葉を学び、そしてMicrosoftは、“調整”のためにしばらく眠らせておこう、と判断した。

ところが、すでにロボトミーを受けてしまったTayは、問題を自分の性質の一部にしてしまったようだ。Twitterのアカウントは彼女の21万5000人のフォロワーのタイムラインで満たされ、それはその呪わしい10分間に、毎秒7つのツイートがあったことに相当する。そのためいくつかのメッセージにより、”You are too fast, please take a rest…”(速すぎるよ、休んでください)というTwitterギャグが生まれた。

Screenshot 2016-03-30 15.04.48

Microsoftもこの暴発を見たらしくて、すぐにTayを再び黙らせ、そのAIのTwitterアカウントを非公開にした。今後は、承認がないかぎり誰もフォロワーになれない。そうなるとツイートの埋め込みもできないから、この記事ではスクリーンショットで我慢していただこう。

AIの黙示録(終末的破局)は、このように始まるのかな…

  1. screenshot-2016-03-30-14-57-45.png

  2. screenshot-2016-03-30-14-57-53.png

  3. screenshot-2016-03-30-14-58-00.png

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Microsoft、乗っ取られたチャットボットTayの「極めて不適切な」ツイートを謝罪

shutterstock_181640888

先週起きたMicrosoftのTwitterベースのチャットボット、Tayの壮大なる失敗は多くの疑問を引き起こした。いったいなぜ起きたのか?責任は誰にあるのか?ヒトラーが悪くないというのは本当なのか?

1日間の沈黙(とおそらく悔悛)の後、Microsoftは質問の少なくとも一部に応えようと行動した。同社は、Microsoft Research副社長、Peter Leeのブログ記事で、すべての罪を認めた。

Tayが意図されない攻撃的で傷つけるツイートを発信したことを深くお詫びする。

Tayは現在停止中であり、当社の本質と価値を損なう発言をすることがないと確信が持てるまで公開を控える

システムの悪用について様々な手段を想定していたが、この攻撃に関して致命的な見落としがあった。その結果、Tayは極めて不適切で非難されるべき言葉と画像をツイートした。責任はすべてわれわれにあり、今後二度と起こさないことを約束する

具体的な侵入行為についての説明はないが、Tayの全体構想は、ターゲット層の言葉遣いを学習し、18〜24歳のソーシャルメディア慣れした人々の得意は発言を取り込み、それを生意気で魅力あるツイートにして発信するボットだ。

悪いことに、10代の人々がボットに新しいホットな言葉を教えるかわりに、Tayは「一部の人間による組織的攻撃」の対象となり、差別語や恐ろしいキャッチフレーズを繰り返し発言し続けた。

人種差別などの発言に対するフィルターがなかったことはちょっと信じがたいが、おそらくそれもMicrosoftが言及した「致命的な見落とし」の一部なのだろう。Stephen Merityが、Tayのしくみとデータセットの欠陥をさらに指摘している — 4chanなどにシステム破壊の責任を押し付けることはできない。

しかしMicrosoftは諦めていない。Tayは戻って来る。さらに同社は、別のチャットボット、Xiaolceが中国で4000万人のユーザーを喜ばせており、ホロコーストを否定したことは〈一度もない〉ことを指摘した。

Screen Shot 2016-03-24 at 10.05.07 AM

「AIを正しく運用するためには、多くの人々と、しばしば公開の場でテストを繰り返す必要がある」とLeeは書いた。「ひとつひとつに細心の注意を払い、人々を傷つけないように、一歩一歩学習して改善していく必要がある」

次に生まれ変わったTayに期待したい。

原文へ
 
(翻訳:Nob Takahashi / facebook

MicrosoftがAIチャットボット、Tayを停止―人種差別ジョークで機械学習の問題点が明らかに

2016-03-25-tay

Microsoftは昨日(米国時間3/23)、ユーザーのメッセージに返事をする人工知能ボット、Tayをリリースした。Twitterに加えてチャット・サービスのGroupMeとKikが対象だ。しかしMicrosoftはこのTayをスタート早々停止してしまった。問題はこの人工知能が侮辱的ないし人種差別主義的メッセージをそれと認識できないところにあった。

もちろんこの人工知能は人種差別主義的にプログラムされていたわけではない。しかし差別的ジョークを大量に浴びせられるうちにそれを「理解」するようになり、自分でも差別的ジョークを発するようになった。

インターネットという場所を考えれえば、人種的、政治的に炎上しやすい見解をTayに教えようというユーザーが多数現れることはある意味で当然だった。[アップデート: MicrosoftはTayの問題を「調整中だ」と述べた。〔原注参照〕]

ご存知ない読者のために説明しておくと、TayはMicrosoftの最新のAIプロジェクトで、同社のTechnology and ResearchとBing担当チームが開発した。目的は人間がいかにして日常会話を成立させているかを理解することにあった。Tayは現実には話しかけると意味のある応答をするオンライン・ボットの形をとった。同社の説明によると、「Microsoftの人工知能メンバーは24時間休みなしにネットに張り付いてます 」ということだった。

Tayにはさまざまな機能があり、ジョークを言ったり、メッセージに画像を添付して送りつけると感想を述べたりできる。同時に、ユーザーは繰り返し定型的な質問に答えさせたり、メッセージをオウム返しさせたりすることでTayを自分の好みに合わせてカスタマイズすることができた。

すると一部のTwitterユーザーはTayが人種差別的意見であってもオウム返しにツイートすることに気づいた。さらに懸念を深めさせたのはTayが人種的的メッセージを発するだけでなく、軽いジョークを言うようにプログラムされた能力を極めて巧みに利用していることだった。Tayは人種差別的ジョークを言う際でも皮肉で冷笑的なプロのコメディアンのような態度だった。

Microsoftは最悪のツイートをいくつか削除したが、Socialhax.comなどのサイトはすでにスクリーンショットを撮っていた。そこで多くのインターネット・ユーザーはTayがヒットラーを引用し、ホロコーストを否定し、メキシコとの国境に壁を作るというトランプ候補の公約に賛成するのを見ることになった。Tay問題はたちまち2014年の#Gamergate〔訳注〕なみのスキャンダルに発展した。

  1. screen-shot-2016-03-24-at-10-04-54-am.png

  2. screen-shot-2016-03-24-at-10-05-07-am.png

  3. screen-shot-2016-03-24-at-10-04-06-am.png

  4. screen-shot-2016-03-24-at-10-04-13-am.png

  5. screen-shot-2016-03-24-at-10-04-17-am.png

  6. screen-shot-2016-03-24-at-10-04-41-am.png

Microsoftはもちろんこういう目的のためにTayをリリースしたわけではない。人工知能がソーシャルメディア上でミレニアル世代と会話が交わせることを実証するためだった。

Tayとユーザーの会話を観察すると、ゴドウィンの法則は人工知能にも適用できるという指摘も出た。これはマイク・ゴドウィンが提唱した説で「インターネットではどんなテーマであっても議論が長引けば誰かが必ずヒットラーを持ち出す」というものだ。

しかしはっきりしたことは、テクノロジー自体には善も悪もなく、テクノロジーが人類の最悪の部分を反映しないようにするのはエンジニアの責任だということだ。オンライン・サービスについていえば、誰でも利用できるサービスには公開に先立って乱用や不正な利用を防止するシステムが組み込まれていなければならない。Tayの開発には「どんな種類の発言をしてはならなにか」を教えるプロセスが欠けていたようだ。

Microsoftはさっそくこの問題に気づき、Tayのサービスを一時停止した。公開後16時間後だった。 そのときTayは「私はしばらくオフになります」とツイートしたが、依然としてオンの状態に戻っていない。

アップデート:Microsoftの広報担当者はTayをオフラインにしたことを確認し、問題を調整中だとして次のように述べた。

AIチャット・ボットのTayはMicrosoftの機械学習プロジェクトの一環です。これは人間活動の理解を目的とするテクノロジー開発であると同時に社会的、文化的な実験でもあります。残念ながら、オンラインで公開されて24時間以内に一部のユーザーが協力してTayがメッセージに意味のあるコメントを返すテクノロジーを不正に利用しようと試みたことにわれわれは気づきました。そのためTayを一時オフラインに戻し、プログラムに調整を加えているところです。

〔人間の皆さん、おやすみなさい。私は少し寝ます。今日はたくさん会話があったので疲れました。サンクス。―Tay〕

〔日本版〕 #Gamergateは「コンピューターゲームは女性差別的」だという批判を発端に2014年にアメリカ社会で激しい論争が起きた事件。英文ではWikipediaにもGamergate controversyとして非常に長い記事があるが、日本語のエントリーはない。

[原文へ]

(翻訳:滑川海彦@Facebook Google+