合成メディア（すなわちディープフェイク）を特定するための検出プラットフォームを開発している、エストニア拠点のSentinel（センチネル）は、Skype（スカイプ）のJaan Tallinn（ヤーン・タリン）氏、TransferWise（トランスファーワイズ）のTaavet Hinrikus（ターヴェット・ヒンリクス）氏、Pipedrive（パイプドライブ）のRagnar Sass（ラグナー・サス）氏とMartin Henk（マーティン・ヘンク）氏をはじめとするベテランのエンジェル投資家たちや、エストニアに拠点を置くアーリーステージ向けベンチャーキャピタルUnited Angels VC（ユナイテッドエンジェルズVC）から135万ドル（約1億4000万円）の資金調達をするシードラウンドを終了した。
ディープフェイクを検出するためのツールを作り上げるという挑戦は、軍拡競争に例えられてきた。最近では、大手IT企業Microsoft（マイクロソフト）がこれに取り組んでおり、11月のアメリカ大統領選挙をターゲットにした虚偽情報を見つけ出すための検出ツールを今月初めに発表した。 マイクロソフトは「学習し続けることができるAIによって（ディープフェイクが）生成されるということはつまり、ディープフェイクが従来の検出技術を打ち負かすことは避けられないということだ」と警告した後、それでも「高度な検出技術」を使って悪質なでっちあげをあばこうとすることに短期的な価値はある、としている。
センチネルの共同創設者であり最高経営責任者（CEO）のJohannes Tammekänd（ヨハネス・タメケン）氏はこの軍拡競争という捉え方に賛同している。そのため、この「着地点が定まらない」問題に対する同社のアプローチには、サイバーセキュリティのスタイル テンプレートに従って、複数層の防御の提供が必要となる。一方、タメケン氏が競合ツールとして挙げたマイク ロソフトの検出ツールと、もうひとつのライバル会社Deeptrace（ディープトレース）、別名Sensity（センシティ）は、彼によれば「欠陥を検出しようとするとても複雑なニューラル ネットワーク」にただ頼っているだけだ、という。
タメケン氏はTechCrunch（テッククランチ）にこう語る。「我々のアプローチは、たった1つの検出方法だけですべてのディープフェイクを検出することは不可能だ、という考えだ。我々には複数層の防御があるため、1つの層が破られても次の層で攻撃者が検出される可能性が高い。」
タメケン氏によると、センチネルのプラットフォームは現在のところ、4層のディープフェイク防御を提供している。第1の層は、出回っているディープフェイクの既知の例をハッシュして照合する。（これは「ソーシャル メディアプラットフォーム」のレベルまで拡張可能だと同氏は言う。）第2の層は、細工を見つけるため機械学習モデルでメタデータを解析する。第3の層は、オーディオの変化をチェックして合成音声などを探す。そして最後の層は、視覚操作の形跡がないか調べるために「1コマごとに」顔を分析する技術を使う。
「最高レベルの確実性を得るために、この検出層すべてから入力データを受け取り、 出力データを（総合スコアとして）合わせて確定する」という。
タメケン氏は加えて、「ある動画がディープフェイクであるかそうでないかを、100% の自信をもって言えない場合もある、という状況まですでに来ている。その動画をなんとかして『暗号で』証明できれば、もしくは複数の角度からの元の動画などを誰かが持っていれば別だが」と述べた。
またタメケン氏は、ディープフェイク軍拡競争においては特定の技術に加えてデータも重要である、と強調している。センチネルがこの点に関して誇れることは、出回っているディープフェイクの「最大の」データベースを蓄積していることだ。このデータを使ってディープフェイクのアルゴリズムを学習させることができる。
同社は社内検証チームを設置しており、メディアの真実性を探るための独自の検出システムを利用したデータ取得に取り組む。3人の検証スペシャリストがおり、最も精巧で自然なディープフェイクを検証するためには、その3人のすべてが同意しなければならない。
「我々は大手ソーシャルプラットフォームのすべてから、毎日ディープフェイクをダウンロードしている。YouTube（ユーチューブ）、Facebook（フェイスブック）、 Instagram（インスタグラム）、 TikTok（ティックトック）、さらにアジアやロシアのプラットフォーム、そしてアダルトサイトからも」とタメケン氏は述べる。
「もし、例えばフェイスブックのデータセットを基にディープフェイク モデルを学習させた場合、それが一般化することはない。それ自身と似たようなディープフェイクを検出することはできても、出回っているディープフェイクと合わせてうまく一般化することはできない。 だから検出は本当に80パーセントがデータエンジンなのだ。」
センチネルが常に確信を持っているわけではない。タメケン氏は、中国の国営メディアによって公開された、軍に殺されたとされている詩人の短い動画を例に挙げている。この動画の中で詩人は、自分は健在であると言い、心配しないよう伝えているように見える。
「画像処理はされていないということを、われわれのアルゴリズムはかなり高い確実性をもって示しており、この人物がただ洗脳されているだけという可能性が非常に高いが、100パーセントの自信を持ってこの動画はディープフェイクでない、ということはできない」と同氏は述べている。
NATO（北大西洋条約機構）、Monese（モネーゼ）、イギリス海軍の出身者で構成されるセンチネルの創業者たちは、実のところ2018年にSidekik（サイドキック）というスタートアップ企業で、とても珍しいアイディアに取り組み始めた。通信データを取り込んで、音声を似せたチャットボット（またはオーディオボット）の形で、ある個人の「デジタルクローン」を作るという、『Black Mirror（ブラック・ミラー）』シリーズのような技術を構築するというものだ。
ベーシックな管理型タスクをこの仮想の代役に任せることができたらいいのではないか、という発想だった。 しかし彼らはこれを悪用される可能性について懸念するようになった。それゆえにディープフェイク検出に転換した、とタメケン氏は言う。
彼らは自分たちの技術を政府機関や国際メディア、防衛機関向けにと考えている。今年の第2四半期にサブスクリプションサービスを開始してからの、欧州連合対外行動局やエストニア政府を含む初期のクライアントも存在する。
彼らは、虚偽情報を広める活動やその他の悪質な情報操作から民主主義を守る助けになることを目指している。つまり、彼らの技術に誰がアクセスできるかということに関して、細心の注意を払っているということだ。タメケン氏は述べる。「われわれは非常に厳しい審査プロセスを備えている。例えば、われわれはNATO加盟国とのみ連携する。」
それから「サウジアラビアや中国からの要望はあるが、我々の側からすると明らかにNGだ」と加えた。
このスタートアップ企業が実施した最近の調査で、出回っている（すなわち、オンラインでどこでも見つけられる）ディープフェイクが急増していることがわかっている。2020年にはこれまでに14万5000件を超える事例が確認されており、前年比の9倍を示している。
ディープフェイクを作成するツールは間違いなく入手しやすくなっている。顔交換アプリのReface（リフェイス）のようなものなど、多くは表面上害のない、楽しみやエンターテイメントの提供を目的とするものであるが、（ディープフェイク検出システムなどで）慎重に管理しなければ、何の疑いも抱いていない視聴者をだますために、利用可能な合成コンテンツが悪用される可能性がある。
現在ソーシャルメディアプラットフォームで行われているメディア交換のレベルまでディープフェイク検出技術をスケールアップすることは、とても大きな課題である、とタメケン氏は述べる。
「フェイスブックやGoogle（グーグル）は（自分たちのディープフェイク検出を）スケールアップすることが可能だろうが、現在のところかなりのコストがかかるため、多額の資金を投入しなければならず、収益は明らかに激減するだろう。よって、基本的にトリプルスタンダードだ。ビジネスインセンティブは何なのか、という話になる」と同氏は言う。
非常に知識があり、非常に豊富な資金を持つ相手によってもたらされるリスクもある。彼らは「ディープフェイク・ゼロデイ」と呼ぶものを標的にした攻撃をする（おそらく国家主体で、非常に高価値のターゲットを追っているようだ）。
「基本的にサイバーセキュリティにおける場合と同じことだ」とタメケン氏は言う。「ビジネスインセンティブが適切であるならば、基本的には［大多数の］ディープフェイクを押さえることができる。できるはずだ。しかし、知識のある相手によってゼロデイとして開発される可能性のあるディープフェイクは常に存在するだろう。そして、現在のところ、誰もそれらを検出する素晴らしい方法、あるいは例えば、検出する方法へのアプローチを知らない。
「唯一既知の方法は多層防御だ。その防御層のいずれかがディープフェイクを検知することを願っている」。
センチネルの共同創業者、Kaspar Peterson（カスパー・ピーターソン）氏（左）とヨハネス・タメケン氏（右）。写真提供者：センチネル
あらゆるインターネットユーザーにとって、もっともらしいフェイクを作って拡散することは確実に安価で容易になってきており、ディープフェイクによってもたらされるリスクが政治的・企業的な議題を盛り上げている。 例えば欧州連合は、虚偽情報の脅威に対応するために「民主主義行動計画」を用意している。その中でセンチネルは、自社のディープフェイクデータセットから得た知識をもとに、ディープフェイク検出だけでなく、個別対応のコンサルティングサービスも扱う企業として自らを位置づけている。
「われわれには多くの成果がある。つまり『ブラックボックス』だけでなく、予測・説明可能性やバイアスを軽減するためのトレーニングデータの統計、すでに既知のディープフェイクとの照合、コンサルティングを通したクライアントへの脅威モデリングも提供できるということだ」と同社は語る。「このような重要な要素があるからこそ、これまでのところクライアントに我々を選んでいただいている。」
ディープフェイクが西洋社会にもたらす最大のリスクは何だと思うか、という問いに対し、短期的には、主な懸念は選挙干渉だ、とタメケン氏は答えた。
「1つの可能性としてはこんなものがある。選挙運動期間中、あるいは選挙当日の1日か2日前、Joe Biden（ジョー・バイデン）氏が『私は癌です。私に投票しないでください』と言ったらどうだろう。その動画が拡散したら」彼は極めて近い未来のリスクを描いて示す。
「そういった技術はもうすぐそこにある」と同氏は続ける。一般向けディープフェイクアプリの1つに関わるデータサイエンティストと近ごろ電話で話したところ、正にそのようなリスクを心配するさまざまなセキュリティー組織からコンタクトがきている、と言っていたそうだ。
「技術的な観点からすると、うまくやられてしまうだろうことは確実だ。そしてそれが拡散されれば、人々にとっては直接見たほうがより効果的、ということになる。すでに大きな影響をもたらしている『安っぽいフェイク』を見たとして、ディープフェイクは完璧である必要はなく、実際、背景がきちんとしている中で信用できればいいのだ。そうすると、多くの有権者がそれに騙される可能性がある」と語った。
長期的には、このリスクは非常に大きなものだと同氏は主張する。人々はデジタルメディアに対する信用を失くす。そういうことだ。
「動画に限ったことではない。画像ということもあるし、音声ということもある。実際、すでにそれらを融合させたものも出てきている」と同氏述べる。「そんな風に、すべての事象を実際に偽造できる。ソーシャルメディアやさまざまな表現活動の場すべてにおいて見ることができる事象を。
「だから我々は検証されたデジタルメディアだけを信じることになるだろう。基本的に、なんらかの検証手法を備えているものだ。」
さらにいっそう反ユートピア的な、AIに歪められた別の未来では、人々はもうオンライン上の何が現実かそうでないかを気にも止めなくなるなるだろう。何であれ彼らの先入観に付け込む、操作されたメディアをただ信じるだけだろう。（オンライン上に投稿されたちょっとした言葉の暗示をかけられて、奇妙な陰謀にはまった人が多くいることを考えると、この上なく可能性があるように思える。）
「 そのうちみな気にしなくなる。それは非常に危険な前提だ」タメケン氏は言う。「ディープフェイクの『核爆弾』はどこにあるのか、ということが大いに議論されている。ある政治家のディープフェイクが現れ、それが大きな被害を及ぼすのは、単なる時間の問題だとしよう。しかし、そのことは現在の最大の組織的リスクとは考えられない。
「最大の組織的リスクは、歴史という観点から見た時に、それまでより安価で容易に情報が生産され、素早く共有されるようになってきている、そういうことが起こっているということだ。グーテンベルクの印刷機から、テレビ、ラジオ、ソーシャルメディア、インターネット、すべてそうだ。我々がインターネットで消費する情報は別の人間によって生産される必要はない、ということが今起こっている。そしてアルゴリズムのおかげで、大規模に、しかも超パーソナライズされた方法で、情報を2つの時間尺度で消費することができる。つまりそれが最大の組織的リスクだ。我々はオンライン上の何が現実なのか、基本的には理解できなくなるだろう。何が人間で、何が人間ではないのか。」
そういったシナリオによって予想される先行きは多種多様だ。極端な社会的分断によって、さらなる混乱と無秩序を招き、拡大する無政府状態や激しい個人主義を生み出す。あるいは、広い範囲の主流派の人々がオンラインコンテンツの多くを無意味だとして、あっさりインターネットの情報に耳を傾けなくなった場合、大衆は興味を失くす。
そこから事態は1周して元に戻る可能性さえある。人々が「再び信頼度の高い情報源を読む」ようになる。タメケン氏はそう述べた。しかし、多くが変化していく危機にさらされる中、1つだけ確かなものがあるようだ。これまで以上に無節操で疑わしいメディアの世界をナビゲートする手助けをしてくれる、高性能なデータ駆動型のツール。これが求められるようになるだろう。
この記事はTechCrunchのSteve O’Hear（スティーブ・オヘア）の協力による。
関連記事：マイクロソフトが米大統領選挙を前にディープフェイク検出ツールVideo Authenticatorを発表
カテゴリー：人工知能・AI
タグ：ディープフェイク
[原文へ]
（翻訳：Dragonfly）
