このソフトウェア・テクノロジーは多くの命を救うためのものだ。FacebookはAIを利用した「プロアクティブな探知」機能を実装する。これはコンテンツをスキャンして自殺の可能性を示唆する投稿を抽出し、自殺の危険性が発見されたユーザー、あるいはその友達に対し、必要に応じてメンタルヘルス専門家などのリソースを提供できるようにする。
また地域で自殺防止のために活動している人々に通報する機能もある。AIを利用して憂慮すべき兆候がある投稿にフラグを立て、これを人間のモデレーターが精査する仕組みだ。従来のように投稿を読んだメンバーからの通報を待って行動するのにくらべてはるかに素早い対応が可能になるという。
Facebookでは以前からAIを利用して問題のある投稿を判別する実験を行ってきた。今回は自殺防止通報という分野でこれを大々的に実際の機能として展開する（当面アメリカが対象）。Facebookでは世界中でAIを利用した投稿スキャンを行っている。例外はプライバシー関連法が複雑なEUだけだ。
Facebookでは特に危険性が高い投稿を優先してモデレーターが介入し、あるいは地元の自殺防止対策組織に通報する。Facebookでは自殺防止に対応するモデレーターを増員し、専門的な訓練を施し、24時間体制で待機させる。また自殺防止に活動しているSave.org、National Suicide Prevention Lifeline、Forefrontなど80箇所の地域パートナー組織と提携して対象者に緊急に助力を提供できるようにしたという。【略】
[アップデート：Facebookの最高セキュリティー責任者、Alex StamosはAIが投稿をスキャンすることに対する懸念に答える真剣なツイートを投稿した。]
AIが怪しい/こわい/悪意を持つ等の点は永久に残るリスクだ。だからこそ現在、データ処理にあたって利便性〔と危険性〕に適切な基準を設けること、偏見が忍び込むことに留意することが重要となる。なおGuy Rosenのチームは優秀であり、機械学習の成果を生かすまたとないチャンスだと期待している。
Facebookではこれまで自殺の危険性がある投稿について人力でリスクを判断していたが、今後はAIを用いて文章、画像を分析してスクリーニングを行う。このシステムは“are you OK?”（大丈夫かい？）や“Do you need help?”（何かできることはない？）のようなレスポンスにも着目するという。
現在のFacebookの自殺可能性通報の仕組
AI、人間のモデレーター、ユーザー一般からの通報などを組み合わせれば先月、父親である男性がFacebook Live上で自殺したような悲劇を防ぐために役立てることができるだろう。ライブビデオというのは自殺を不当に美化するような影響を及ぼす可能性がある。また何が起きるか予測できないままに大勢の人間が同じシーンを見ることになる。録画されたビデオであれば公開前にプラットフォーム側で審査し、問題があれば公開を保留できる。したがってライブビデオの利用にあたって新たな予防措置が導入されるのはやむを得ない。
今後は、メンバーがどんな形にせよ自殺を示唆するような投稿を行った場合、 Facebook AIはそれを積極的に検知してフラグを立てる。これに基づいて自殺防止の専門的訓練を受けた人間のモデレーターが適切な対処方法を検討することになる。
フラグが立てられた場合、Facebookのテクノロジーはテキストなりビデオなりのどの部分が自殺の危険性を示唆するのかハイライトして示す。これによりモデレーターは大量のコンテンツから問題部分を選り分けるために時間を費やさずにすむ。特にビデオの場合、全編を見るには非常に時間がかかる。AIは暴力やヌード描写など以上にユーザーからの自殺の危険性の通報を重視する。Facebookによれば自殺通報を最優先処理事項とすることにより、地元関係機関への連絡が従来の2倍以上に速くなるとしている。
差別について目をうるませて話すマーク・ザッカーバーグ。母校、ハーバードでの卒業式のスピーチ（5月）
Facebookのモデレーターは地元のパートナーから適切な言語による機関を選ぶ。これには自殺防止の電話ホットラインや警察、消防などの当局が含まれる。モデレーターは対象のユーザーの居場所や過去の精神状態について参考となるデータを収集して連絡する。また友達を探して危険が感じられることを伝え、連絡を依頼することもある。AIチームのリーダー、Rosenは「われわれの目標は、やがて全世界であらゆる言語でこのサービスを提供し、即刻必要なサポートが提供できるようにすることだ」と述べた。
去る2月にFacebookのCEO、マーク・ザッカーバーグは「〔Facebook上で〕自殺が起き、そのいくつかはライブストリーミングされるという恐ろしい出来事があった。誰かが事前に気づき、適切に通報していればこうした悲劇は防止できたかもしれない…人工知能はこの面で優れたアプローチを提供できると思う」と書いている。
20億人からのユーザーをかかえるFacebookがこうした措置に踏み切ったのは賞賛されるべきだ。Facebookはユーザーがつながり合える仕組みを作ったが、そればかりではなく、不幸にも、ある種のリアルタイムの無法地帯を作り出してしまった。Facebook Liveは自他に暴力を加え、それを見せびらかそうとする衝動を持ったユーザーにも好適なとチャンネルとなっている。.
世界的なコミュニケーション・プラットフォームの構築には他のテクノロジー企業以上の重大な責任が伴う。Facebookはこうした責任を受け入れていくしかないだろう。
[原文へ]
（翻訳：滑川海彦@Facebook Google+）
