Googleの新プロジェクト―、文脈を判断できるAIが有害コメントを検出

universal-chat-bot

もしもあなたが普段インターネットで何かを読んでいれば(この記事を読んでいるということはもちろんそうだろう)、「コメントは飛ばす」という黄金律を知っているはずだ。

記事や物語の終わりからさらに下へとスクロールしていくと、そこには人種差別や陰謀論、個人攻撃で溢れる別世界が存在し、すぐに人間という生き物への信頼をなくしてしまう。しかし今後コメント欄では、ゴドウィンの法則よりもGoogleに出会うことの方が多くなるかもしれない。Alphabetの子会社で、ネット上の安全を育むためにつくられたJigsawは、米国時間2月23日にコメント欄の清浄化を目的としたPerspectiveと呼ばれる新たなサービスをローンチした。

Perspectiveはコメント内容を評価し、各コメントに悪意がある可能性を数値化するサービスだ。Jigsawはオンラインでの議論を促進することをゴールとしているため、コメントが「有害」かどうかというのは、他のユーザーを議論から遠ざけてしまうかどうかで判断される。

「朝読んだニュースについて友だちと話している様子を想像してみてください。もしもあなたが何か言うたびに、誰かがあなたの顔めがけて大声を出したり、不快な名前で呼んできたり、言われもない罪であなたを非難してきたりすれば、きっとあなたはその場を去るでしょう」とJigsaw社長のJared Cohenは話す。「残念ながら、こんなことがオンラインでは嫌になるくらい起きています。人がお気に入りのニュースサイトで何かについて議論しようとすると、たちまち有害なコメントで責め立てられてしまうんです」。

Jigsawが算出した有害性をどう理解するかや、有害なコメントにどう対応するかはプラットフォーム次第だ。Jigsawは有害性スコアの提供以外は行っていないため、企業は有害コメントにフラグを立てて担当者が内容をレビューしたり、有害コメントを注意表示で隠して、ユーザーが表示をクリックしないとコメントを読めないようにしたりといった対策を自分たちで考えることができる。またユーザー側は、自分のコメントも有害と判断される可能性もあるため、入力した内容が本当に自分の言いたいことなのか判断できる。

メディア各社は、コメント問題への解決策を編み出そうとこれまで苦しんできた。Reutersをはじめとする数社はコメント欄自体を削除し、BuzzFeedはコメントのキュレーション方法を模索している。一方The New York TImesは、Perspectiveの開発でJigsawと手を組み、1日あたり1万1000件も集まるという同紙の記事へのコメントを、機械学習モデルのトレーニング用にJigsawへ提供していた。

Perspectiveは、特定の人種を中傷するようなキーワードをピックアップするだけでなく、ある言葉の攻撃対象がコメント主なのか、それとも議論の対象となっている話に出てくる人なのかというのを文脈から判断することができる。なお、各プラットフォームはAPIを通じてPerspectiveを利用できる。

またJigsawは、Perspectiveの力を証明するために、Wikipediaのディスカッションページにおける嫌がらせの調査を行った。まず彼らは、編集者がWikipediaの記事のアップデートについて議論を交わすトークページから、100万件以上のコメントを分析のためにかき集めた。その後、10人の審査員が各コメントに個人攻撃が含まれているかや、誰が攻撃の対象になっているのかを評価し、その結果をPerspectiveのトレーニングに使用した。Jigsawは英語で書かれたコメントだけをトレーニングに使っていたので、Perspectiveは少なくとも今のところは英語にしか対応していない。

Wikipediaのコメントに関する調査の結果、モデレーターから警告やブロックを受けた人は18%しかおらず、ほとんどの嫌がらせが野放しにされていたことがわかった。さらにJigsawは、Yahooの初期のコメント管理システムについても調査を実施した。Yahooはモデレーターが有害だと判断したコメントを使ってアルゴリズムをトレーニングしており、調査の結果、その検出率は90%に達することが分かった。

Perspective以外にも、Googleの実験的なプロジェクトを会社化したJigsawは、DDoS攻撃の軽減やニュースのファクトチェックを目的としたサービスを開発している。

原文へ

(翻訳:Atsushi Yukutake/ Twitter

投稿者:

TechCrunch Japan

TechCrunchは2005年にシリコンバレーでスタートし、スタートアップ企業の紹介やインターネットの新しいプロダクトのレビュー、そして業界の重要なニュースを扱うテクノロジーメディアとして成長してきました。現在、米国を始め、欧州、アジア地域のテクノロジー業界の話題をカバーしています。そして、米国では2010年9月に世界的なオンラインメディア企業のAOLの傘下となりその運営が続けられています。 日本では2006年6月から翻訳版となるTechCrunch Japanが産声を上げてスタートしています。その後、日本でのオリジナル記事の投稿やイベントなどを開催しています。なお、TechCrunch Japanも2011年4月1日より米国と同様に米AOLの日本法人AOLオンライン・ジャパンにより運営されています。