2020年、米国大統領選挙キャンペーンが特に激しさを増していた中、人々をオンライン上の会話に集結させるソーシャルメディアや企業に向けてAIベースのプラットフォームを提供するSentropyというスタートアップが現れた。
Sentropyは自然言語処理と機械学習を利用して一連のアルゴリズムを構築し、これらのプラットフォーム上で暴言や嫌がらせなどの有害なコンテンツが出現してきたときにそれを検知し、問題になる前に対処できるように支援している。
同社が米国時間2月9日、コンシューマー向けの新製品を発表した。
Sentropy Protectは、同社のエンタープライズプラットフォーム用に開発されたものと同じ技術を使用した無料のコンシューマー向け製品だ。個人のソーシャルメディアのフィード上で有害なコンテンツを検出し、ダッシュボードを介してそうしたコンテンツとそれを生成する人々を適切に制御できるようにしてくれる。
当初はTwitterからスタートし、徐々にソーシャルフィードの数を増やしていく計画で、初期段階ではSentropyとソーシャルフィードを統合するためのAPIを提供するサービスをベースに展開する（すべてのソーシャルメディアがそういったAPIを提供しているわけではない）。
SentropyのCEOであるJohn Redgrave（ジョン・レドグレイブ）氏は、コンシューマー向け製品のローンチは方向転換ではなく同社が構築しているものの拡張であると述べている。
Sentropyは今後もエンタープライズ顧客と協働していく考えで、同分野では2つの製品を展開している。Sentropy Detectは、APIベースの悪用検知技術へのアクセスを提供する。Sentropy Defendは、モデレータのエンドツーエンドのモデレーションワークフローを可能にするブラウザベースのインターフェースだ。
しかし一方で、コンシューマー向け製品であるProtectは人々に新たな選択肢を提供する。Sentropyが特定のプラットフォームで利用されているかどうかに関わらず、制御を握り、ハラスメントのグラフを実質的にコントロールできるようにしてくれるというものだ。
「私たちはエンタープライズをスタート地点として一貫して追い求めていく強い信念を持っていましたが、Sentropyはそれ以上のものになっています」と同氏はいう。「サイバーセーフティには企業向けとコンシューマー向けの両方のコンポーネントが必要です」。
何百万もの人々に影響を与える可能性のあるサービスを構築し、かつ個人の自己決定の要素を維持しようとする姿勢のあるスタートアップの誕生は実に爽快である。
単に「サービスXを利用するかしないかはあなた次第です」ということだけではない。特に人気のサービスにおいては、プラットフォームがユーザーの最善の利益を常に考慮してくれているという期待感だけでなく、ユーザーにも自身でコントロールできるようなツールを提供すべきだという概念が重要なのだ。
これは消えつつある問題ではなく、複雑なコンテンツを処理する方法を模索し続けている現在最もホットなプラットフォームだけでなく、新興のプラットフォームにも共通する問題といえるだろう。
関連記事：TikTokがコミュニティガイドラインを拡張、「ウェルビーイング」の新機能を展開
例えば、Clubhouseの最近の人気はソーシャルプラットフォームにおける新たな領域として注目されているが、Clubhouseは会話のための「room」をベースとし、やりとりのためテキストではなく音声に依存する新しいモデルであるため、嫌がらせやハラスメントの問題にどう対処しているかという点を浮き彫りにしている。いくつかの注目すべき例は、これまでのところ、問題が大きくなる前に対処する必要があることを示している。
Protectは現在無料で利用できるが、Sentropyはその有料化の方法と可能性を検討中だとレドグレイブ氏は語っている。考えられるシナリオとしては、強化されたツールを備えた「プロ」サービスを持つ個人向けの無料限定版製品となるフリーミアムの層と、1人または複数のハイプロファイルの個人に代わってアカウントを管理する企業向けの層で提供される可能性がある。
もちろんTwitter、Reddit、Facebook、YouTubeなどのサービスはここ数年（特に最近）、より多くのルール、モデレーター、自動化されたアルゴリズムを導入し、トラック内の不正なコンテンツを特定して阻止したり、ユーザーがコンテンツを入手する前にレポートして阻止したりできるようにすることで、大きな成果を上げている。
しかし、もしあなた自身が定期的あるいは時折ターゲットにされたりするような経験を持っていれば、それだけでは十分ではないと感じるだろう。Sentropy Protectもそのような考え方に基づいて構築されているようだ。
実際、レドグレイブ氏によると、同社は当初からコンシューマー向け製品のロードマップを作成していたが、2020年6月にエンタープライズ向け製品を発表して以降その戦略は加速したという。
「私たちは『オンラインで虐待を受けています。御社のテクノロジーにアクセスするにはどうすればよいですか？』という人々からの問い合わせを受けるようになりました」。同氏はSentropyが企業のリストを精査して顧客として彼らを勝ち取り、製品の統合を成功させるだけでは解決できない問題があることに気づいたと振り返る。
「私たちは難しい決断を下しました。100％の時間を企業のために費やすのか、それともチームの一部を使って消費者のために何かを作り始めるべきなのか」。同社は後者の道を選んだ。
エンタープライズ分野では、Sentropyはソーシャルネットワークをはじめ、ゲーム体験や出会い系アプリに接続されたメッセージボードなど、人と人の交流をホストする企業との提携を続けている。現時点では顧客名を公表していないが、大手の有名プラットフォームではなく、主に小規模で急成長中の企業だとレドグレイブ氏は説明している。
Sentropyのプロダクト担当バイスプレジデントであるDev Bala（デヴ・バーラ）氏（アカデミックな経験を持ち、Facebook、Google、Microsoftで働いていた）は、より大きなレガシープラットフォームもSentropyの範疇外ではないと説明している。しかし大抵の場合、そうした企業はより大きな信頼と安全戦略に取り組み、少数のエンジニアを社内に配置して製品開発に取り組んでいることが多い。
大手ソーシャルネットワークがサービスの特定の側面にサードパーティーの技術を導入することもあるが、それらの契約が完了するまでには、たとえオンライン上での不正行為に対処しなければならないような緊急性の高い場合であっても、通常は長い時間がかかる。
「虐待や嫌がらせは急速に進化しており、Facebook、Reddit、YouTubeやその他の企業にとっては実存的な問題になっていると思います」とバーラ氏はいう。「これらの企業は、信頼と安全だけを考えている1万人の組織を持つことになり、世界はそれを実行しないことの弊害を目にしています。外部の人々にはあまり明らかにされていませんが、彼らは多数のモデレーターとあらゆるテクノロジーを持つポートフォリオアプローチを採用しています。すべてが社内で構築されているわけではありません」。
「Sentropyには大きな企業にとっても価値があると信じていますが、私たちのような製品を使っている企業の周りには多くの世論が存在していることも認識しています。ですから、対象となっている企業がFacebookではなく、あまり洗練されていないアプローチを採用していない場合、より先に進むチャンスがあると考えています」。
市場の潮流とセンチメントの変化の兆候である。虐待やコンテンツへの取り組みがビジネスコンセプトとして真剣に受け止められ始めているようだ。このビジネス機会に取り組んでいるのはSentropyだけではない。
Spectrum LabsとL1ghtという2社のスタートアップも会話が行われているさまざまなプラットフォームを対象としたAIベースのツールセットを開発しており、これらのプラットフォームが有害性、ハラスメント、虐待を検知し、より適切な事例を検出できるようにしている。
関連記事：有害コンテンツと戦うAIプラットフォーム開発のSpectrum Labsが1000億円超を調達
もう1社のBlock Partyは、さまざまなソーシャルプラットフォームでユーザー自身が有害性への接触をコントロールできるようにしたいと考えているが、Sentropy同様、まずTwitterにフォーカスしている。
関連記事：SNSでのオンラインハラスメントや虐待に対抗するBlock PartyがTwitterでサービス開始
Protectを使用すると、コンテンツが検出されてフラグが設定された後、ユーザーは特定のユーザー（Protectを使用してミュートすることも可能）またはテーマに対してより広範で恒久的なブロックを設定したり、フィルタリングされた単語を管理したり、悪用の可能性があることを示すフラグが自動的に設定されたコンテンツを監視したりできる。これらのフラグを無効化して「信頼できる」ユーザーを作成することも可能だ。身体的な暴力の脅威、性的な攻撃、アイデンティティ攻撃などのように、Sentropyによって捕捉されたツイートにはラベルが付けられる。
機械学習プラットフォームをベースにしているため、Sentropyはフラグの付いたツイートを含むすべてのシグナルを収集し、Protectにそれらを使って将来のコンテンツを識別させている。このプラットフォームは他のプラットフォームでのチャットも常時監視しており、それが検索結果やモデレートに反映される。
Twitter自体の不正利用防止策を知っている人なら、Twitterが提供するコントロールよりもこれがさらに一歩進んでいることが分かるだろう。
ただし、これはまだ初期バージョンに過ぎない。今のところ、Protectではタイムライン全体を見ることはできず、実質的にはProtectとTwitterクライアントを切り替えることになる。面倒だと思う人もいるかもしれないが、一方でバーラ氏は、Sentropyの成功の兆候はバックグラウンドで動作させて人が常にチェックする必要性を感じなくなることだという。
レドグレイブ氏はまた、ダイレクトメッセージをフィルタリングする機能など、他の機能を追加する方法についてもまだ検討中だと語っている。
カテゴリー：パブリック / ダイバーシティ
タグ：Sentropy、ハラスメント、機械学習、SNS、ソーシャルメディア
画像クレジット：Towfiqu Photography / Getty Images
［原文へ］
（文：Ingrid Lunden、翻訳：Dragonfly）
