画像検索エンジンのGiphyは、アニメーションGIFを検索したり作ったりするための「楽しくて安全な方法」のプロバイダーと自らを称している。しかし有害なコンテンツを禁止しているにもかかわらず、TechCrunchが確認したところではGiphyのサイトには自傷や児童性虐待の画像が散見される。
オンライン上での児童保護を行なっているイスラエルのスタートアップ L1ght（以前はAntiToxin Technologiesという名称だった）は、人気のGIF共有コミュニティ内に隠されている多くの有害なコンテンツを発見した。ここには、違法の児童虐待コンテンツやレイプの描写、その他白人至上主義やヘイトスピーチのようなものに関連する有害な画像が含まれている。TechCrunchと共有されたレポートではまた、視聴者に不健康なダイエットを勧めたり、摂食障害を賞賛するようなコンテンツの存在も指摘されている。
TechCrunchは特定のキーワードでGiphyサイトを検索し、L1ghtの主張を部分的に確認した。（我々は児童性虐待コンテンツの表示につながりえる文言では検索していない。それは違法となる）。Giphyは好ましくない検索結果につながるような多くのハッシュタグや検索の文言をブロックしているが、GoogleやBingのような検索エンジンはいまだに特定のキーワードでヒットする画像を蓄えている。
違法なコンテンツに関連するいくつかの言葉を使ってテストしてみたところ、Giphyはときどき、自前の検索結果のコンテンツを表示した。Giphyでは禁止されているマテリアルが示されなかったとき、他の検索エンジンでは往々にして禁止対象となる一連のコンテンツが表示された。
L1ghtは、オンライン上の有害なものを排除するより高度なソリューションの開発を行っている。同社のテストを通じて、違法な1回の検索で1ページ目だけで195枚の写真がヒットした。L1ghtのチームは1つのアイテムから次のものとへとタグを追って行くにつれ、違法または不正なコンテンツのネットワークを発見した。タグそのものはユーザーが検知から逃れるために無害なものだが、不正マテリアルへのゲートウェーのような働きをしていた。
自傷コンテンツの禁止にもかかわらず、研究者らは禁止コンテンツを見つける多くのキーワードや検索文言を発見した。このグラフィック図はTechCrunchがぼかした
児童性虐待の画像などを含め、かなり過激なコンテンツの多くは、児童搾取サイトと関係のあるキーワードを使ってタグ付けされてきたと言われている。
我々はコンテンツにアクセスするのに使ったハッシュタグや検索の文言、サイトなどを公開はしない。しかし、児童搾取を撲滅するために議会によって設立された非営利団体「行方不明・搾取被害児童のためのナショナルセンター」に情報を提供した。
Giphyのオーディエンス責任者であるSimon Gibson（サイモン・ギブソン）氏はTechCrunchに対し、同社にとってコンテンツの安全性は「最も重要なもの」であり、「かなりのモデレーションプロトコル」を展開している、と述べた。彼はまた、違法コンテンツが見つかった場合、同社は当局に通報し、削除するとも話した。
ギブソン氏はさらに、L1ghtがまず最初にGiphyに連絡を取ってこなかったことに不満を示した。L1ghtは、Giphyがコンテンツモデレーションの問題にすでに気づいている、と指摘した。
ギブソン氏は「Giphyのモデレーションシステムは画像テクノロジーと人間による確認の組み合わせで展開されている。ここには、ユーザーがGiphyの検索可能なインデックスに自分のコンテンツが表示されるようにするために認証を申し込まなければならないというプロセスも含まれる。コンテンツはそれから人間のモデレーターによってレビューされる」と話した。「もしモデレーターの間での評価が一致しなければ、あるいはモデレーターの決断がやや頼りない場合は、コンテンツはGiphy内部の信用・安全チームに回され、さらなるレビューを受けることになる」と語った。
「Giphyはまた、我々のポリシーに反するようなコンテンツを見つけて削除するために、検索インデックスの内外でプロアクティブなキーワード検索を行なっている」とも説明した。
L1ghtの研究者たちは、違法で攻撃的なコンテンツを見つけるために人工知能エンジンを活用した。このプラットフォームを活用することで研究者たちは関連する他のコンテンツを発見することができる。そうでもしなければ見つけることはできなかったであろう、違法で禁止されたかなりの量のコンテンツを見つけることができるのだ。
この手の有害なコンテンツはオンラインプラットフォームで広がる。しかしアルゴリズムは対策の一部にすぎない。サイトをクリーンに保つためには、人間によるモデレーションが必須であると、テック企業は気づきつつある。しかしこれまで、FacebookやInstagram、YouTube、Twitterといった業界大手に注意の大半がいっていた。
例えば、Facebookは賃金の安い請負業者のチームにモデレーションを委託していることで常に批判されてきた。そうした請負業者は監視しなければならないものの対応に苦慮していて、業務に伴うトラウマ後にストレスのような症状に悩まされすらする。一方、GoogleのYouTubeは今年、オンライン性的虐待の徒党の温床になっていることが明らかになった。犯罪者が侵略的な発言をしながらコメント欄を使ってビデオを観るよう次から次へと案内していた。
Giphyと比較的小規模なプラットフォームは過去数年間、注意の対象からほとんど外れていた。しかしL1ghtの新たな発見はこの手の問題の影響を受けないプラットフォームはないことを示している。
L1ghtは、この種のコンテンツを共有するGiphyユーザーが、外部の人やGiphyそのものに簡単に検索されないようアカウントをプライベートにしている、と指摘する。しかしプライベートアカウントであっても、誹謗するコンテンツはGoogleやBing、Yandexのような検索エンジンでひっかかり、これにより発見しやすくなっている。L1ghtは、小児性愛者が互いにマテリアル交換するのを含め、オンラインでマテリアルを拡散する手段としてGiphyを使っていることも突き止めた。小児性愛者たちは連絡を取り合うためにGiphyのタグシステムを使っているだけではない。彼らはまた、テキストオーバーレイを通じて画像にタグ付けするという、より高度な技術も使っている。
同じようなプロセスが、白人至上主義やいじめ、児童虐待などと関連するコミュニティでも使われていた。
Giphyがサイト上のコンテンツで非難されるのはこれが初めてではない。昨年、The VergeはGiphyが違法の禁止コンテンツの追放に苦労していると報道した。そしてGiphyは昨年、人種差別的なコンテンツを扱っているとしてInstagramから追い出された。
この問題はGiphyだけが抱えるものではない。しかし、正しく対応していない企業の最新例となった。TechCrunchは今年初め、Microsoftの検索エンジンBing上での児童性虐待画像問題の調査を当時のAntiToxinに委託した。イスラエルの当局による緻密な管理のもと、TechCrunchは特定のキーワードでの検索で大量の違法画像が結果に含まれることを発見した。このTechCrunchの報道をフォローした記事をNew York Timesが先週出したが、児童性虐待のコンテンツが検索結果に現れないようするために与えられた数カ月の間、Bingがほぼ何もしてこなかったと報じた。
Bingは写真検知ツールのPhotoDNAを開拓していたが、検索結果に児童虐待が表示されるのを防ぐためのBingの取り組みは非難を免れられないものだ。このツールは、児童虐待コンテンツの膨大なデータベースにもとづく違法画像を特定するために、ソフトウェア大企業のMicrosoftが10年前に構築したものだ。
Giphyのギブソン氏は、同社はMicrosoftのPhotoDNAの使用を「つい最近許可された」と話したが、現在使用しているかどうかについては語らなかった。
資力があり、規模も大きく、リソースをふんだんに持つテック企業がプラットフォームから違法コンテンツを排除できていない一方で、スタートアップはコンテンツモデレーションのギャップを埋めつつある。
この分野に商業的関心を持つL1ghtは、オンライン侵略者、いじめ、ヘイトスピーチ、スキャムなどとの戦いをサポートするために1年前に設立された。
L1ghtを創業したのはAmobeeの前CEO、Zohar Levkovitz氏とサイバーセキュリティ専門家Ron Porat氏だ。Porat氏は広告ブロッカーShineの創業者であり、Porat氏の息子はオンラインゲームMinecraftでオンラインいじめを経験した。L1ghtは、こうしたプラットフォームの問題は、自身を守ろうとするユーザーの能力を超えたものであり、そうしたユーザーを助けるためにテクノロジーが必要とされているとの認識に至った。
L1ghtは、ほぼリアルタイムにオンライン上の有害なものを特定・分析・予想するために、Giphyでとった方法と同じテクノロジーを活用している。
画像クレジット：TechCrunch
[原文へ]
（翻訳：Mizoguchi）
