ウクライナのゼレンスキー大統領が降伏するフェイク動画をMetaが削除

ウクライナ大統領Volodymyr Zelensky(ウォロディミル・ゼレンスキー)氏が軍に降伏を命じているフェイクビデオを、Metaは米国時間3月16日に削除した。動画は、ロシアによる隣国ウクライナへの残忍な侵攻と並行して行われている情報戦争において警戒を要する最新の出来事だが、以前からウクライナ政府とソーシャルメディア企業が予期瞬間でもある。

MetaのセキュリティポリシーのトップであるNathaniel Gleicher(ナサニエル・グレイチャー)氏の説明によると、そのコンテンツは「操作されたメディア」に対する規則を破っているため削除された。マルチメディアによる偽情報の形式の1つで、公人が実際には口にしていないことを言ってるように編集した動画で表現されている。

このビデオは、誤解を招く操作されたメディアに対する、弊社のポリシーに違反しているため迅速に検討して削除し、他のプラットフォームの同僚たちにも通知した。

この誤解を招く動画のMetaによる削除はかなり早かったが、ロシア版FacebookであるVKontakte上ではすでに広まっているようだとAtlantic Councilのデジタル犯罪捜査研究所はいう。同研究所はさらに、Telegramのロシア寄りチャンネルが3月16日にゼレンスキー氏が国の降伏を呼びかけているディープフェイクを掲載したともいう。

国営テレビネットワークのUkraine 24も、ニュース表示が3月16日に同じ目的でハックされたと報じている。その表示は、Zelenskyからと称するメッセージがウクライナ国民に、ロシアの侵略軍への抵抗をやめるよう呼びかけている。

ロシアのハイブリッド戦争が始動。Ukraine 24のテレビチャンネルがハックされた。ニュース表示がゼレンスキー大統領の偽の降伏宣言を表示されるようになった。@ZelenskyyUaはすでにこのフェイクに反論して、彼が武器を置けと要求できるのはロシア軍に対してだけだと述べている。

ウクライナの大統領はすばやくその偽情報を否定して、侵攻の開始以来ゼレンスキー氏のコミュニケーションのスタイルとなったセルフィービデオで、Telegram上でメッセージした。

2022年3月初めにウクライナの戦略的コミュニケーションセンターが、ロシアは変造したビデオを使って侵攻の一般大衆の受け止め方を歪曲するかもしれないと警告した。そのセンターはウクライナ政府の文化情報政策省に属し「外部の脅威、中でも特にロシア連邦の情報攻撃を阻止する」ことに注力している。

同センターは3月2日にFacebookページで次のように述べている。「ウォロディミル・ゼレンスキーがテレビで降伏声明を述べているところを、自分が見ていると想像してみよう。姿も見えるし声も聞こえるからそれは事実だが、しかしこれは本当ではない。用心しよう。これはフェイクだ!」。

画像クレジット:Drew Angerer/Getty Images/Bloomberg, Getty Imagesより/Getty Images

原文へ

(文:Taylor Hatmaker、翻訳:Hiroshi Iwatani)

アニメーションと音声で写真に生命を吹き込む、MyHeritageとD-IDが提携し故人が話す動画が作成可能に

2021年、家系調査サービスのMyHeritageが、故人の顔写真を動画化できる斬新な「ディープフェイク」機能を導入して話題になった。TikTokのユーザーたちはいち早くその技術に反応して、動画を投稿し、自分が会ったこともない親戚やまだその死を悲しんでいる故人を蘇らせて、「ディープノスタルジア」と呼んだ。今日まで、1億枚以上の写真がこの機能で動画になった。そしてその機能が進化した。米国時間3月3日、MyHeritageはパートナーのD-IDとともに「ディープノスタルジア」を拡張した「ライブストーリー」機能をローンチした。写真の人物を生き返らせるだけでなく、彼らに話をさせるのだ。

MyHeritageが技術をライセンスしたD-IDはテルアビブのスタートアップで、AIとディープラーニング利用した再現動画の技術で特許を取得している。

D-IDの技術は、APIを通じて開発者に提供され、メディア、教育、マーケティングなど、さまざまなライセンシーに利用されています。例えばWarner Bros.(ワーナー・ブラザーズ)は、D-IDを利用して、ユーザーが映画の予告編をアニメーション写真でパーソナライズできるようにしたり、ハリー・ポッター展のために協力した。Mondelēz International、広告代理店のPublicis、Digitas Vietnamは、地元の祭りのマーケティング活動でD-IDと提携している。インドの短編動画アプリJoshは、顔アニメーションの技術をクリエイティブツールとして統合した。また、非営利団体や政府も、さまざまな啓発キャンペーンにこの技術を利用している。

MyHeritageは、こライブストーリーでD-IDの最新AI技術をユーザー向けに利用している。この機能を使うためには、ユーザーはまず無料でMyHeritageのアカウントを無料で作成することができ、その技術を何度か無料で試用できる。その後は、有料のサブスクリプションでライブストーリーを無制限に利用できる。

本技術で先祖の人生を物語にしたり、それを本人に語らせることもできる。それを可能にするのが、D-IDの特許取得技術Speaking Portrait Technology(肖像発話技術)だ。アップロードされた写真をもとにナレーション入りの動画を作り、それを合成音声生成装置にかける。語られるストーリーは、ユーザーが提供したテキストだ。

 

言葉と唇の動きが同期するためにD-IDは、人が話している動画のデータベースでニューラルネットワークを訓練した。言語は、どんな言語でもよいというが、MyHeritageは10種ほどの方言や、性による声の違いを含む31言語をサポートしている。

D-IDの共同創業者でCEOのGil Perry(ギル・ペリー)氏によると「優秀な技術であるためドライバービデオは不要です」という。つまり、本物の人物の動きを動画で撮影し、それを静止画像にマップする処理は不要だ。「テキストと写真があれば、その人が話している動画ができ上がります」という。「ただし、まだ完璧な技術ではありません。現状は、本当に良質なリップシンクらしいものを作ったにすぎません」とのこと。

そうやって作成されたライブストーリーは、それを見たり、友だちと共有したり、ソーシャルメディアに投稿することができる。テキストを編集し、さらに話をカスタマイズし、別の声を選んだり、自分が録音したオーディオをアップロードしてもいい。

画像クレジット:D-ID

D-IDの長期的な展望は、この技術をメタバースの環境で使うことだ。メタバースであれば顔だけでなく、デジタルアバターを動画にできるし、体全体の動きを3Dで表現できる。ペリー氏はユーザーが自分の幼児期や家族、歴史的人物の写真をアップロードして、それらをメタバースで動かし、会話をさせることもできると考えている。

「子どもたちがAlbert Einstein(アインシュタイン)と会話して、彼の話を聞いたり、彼に質問したりすることもできるでしょう。しかも彼は疑問に答えてくれます。さらにユニバーサル翻訳であれば、アインシュタインはユーザーの母国語で会話することもできるはずです」。

もちろんそんな技術は何年も先のことだが、実現するとすれば、それらはディープノスタルジーやライブストーリーのような、今日開発したコンセプトに基づいて作られることとなる。

MyHeritageとD-IDはそれぞれ、この技術を別々のやり方でデモする独自のアプリを世に送り出す。D-IDによると、それは数週間後だという。

MyHeritageのライブストーリー機能は本日、米国時間3月3日、家族史テクノロジーのカンファレンスRootsTechで発表された。デスクトップとモバイルウェブ、MyHeritageのモバイルアプリで利用できる。

MyHeritageの創業者でCEOのGilad Japhet(ギラッド・ジャフェ)氏は、ライブストーリーのローンチに関する声明で次のように述べている。「最新機能で、MyHeritageは今後もオンライン家族史の世界をビジョンとイノベーションの両方でリードし続けることになります。AIを利用して歴史的な写真に新しい命を吹き込むことはユニークな機能であり、何百万もの人が先祖や愛する故人との感情的な結びつきを掘り起こし一新することができます。家系の本質は家族史の表現と保存にあり、私たちは世界に向けて家系の楽しさと魅力を伝えていきたい」。

D-IDは、Sella Blondheim(セラ・ブロンドハイム)氏とEliran Kuta(エリラン・クタ)氏が創業。現在、チームは32名で今後は米国や英国、シンガポール、そしてイスラエルでそれぞれ現地の人数を増やし、社員数を倍増したいと考えている。

画像クレジット:D-ID

原文へ

(文:Sarah Perez、翻訳:Hiroshi Iwatani)

凸版印刷、アバターの真正性を証明する管理基盤AVATECTを開発、メタバースでのアバター不正利用やなりすまし抑止

凸版印刷、アバターの真正性を証明する管理基盤AVATECTを開発、メタバースでのアバター不正利用やなりすまし抑止

凸版印刷は2月18日、メタバースへの社会的な関心の高まりを受け、自分の分身として生成されたアバターに対し、唯一性を証明するアバター生成管理基盤「AVATECT」(アバテクト)を開発したと発表した。2月より試験提供を開始する。

凸版印刷は、写真1枚で3Dアバターを自動生成できる同社サービス「MetaCloneアバター」や、構築したメタバースの中で様々なビジネスを行う事業者などに向けて、AVATECTの試験提供を実施。複数のメタバース事業者間における同一アバターの行動分析や、それに伴うプライバシー保護の有用性の検証を経て、2022年9月までにアバター管理事業を開始し、2025年度までにメタバース関連事業として100億円の売り上げを目指す。

昨今、メタバース市場への関心が高まる一方、本人の許可や確認のない映像などによりアバターが生成されてしまう危険性や、アバターのなりすまし・不正利用がメタバース普及の大きな課題になっているという。また凸版印刷は、メタバース上でアバターの行動に対する倫理規定が進んでおらずディープフェイクのようなリスクが生じる危険性があると指摘。

凸版印刷は、メタバース普及に伴うそれらセキュリティリスクを低減させるため、アバターの出自や所有者情報を管理すると同時に、NFTや電子透かしによってアバターの唯一性・真正性を証明できるアバター生成管理基盤として、AVATECTを開発した。

アバターに関するメタ情報を管理

アバターを生成した際に「モデル情報」(氏名・身体的特徴・元となる顔写真など)、「モデルが当該アバター生成に対して許諾しているか(オプトイン)の情報」「アバター生成者(もしくは生成ソフトウェア、サービス)情報」「アバター生成日時情報」「現在のアバター利用権情報」などを、メタ情報として記録。「アバター生成管理基盤」に、アバター本体とメタ情報を紐づけて保管する。

NFT化と電子透かしで唯一性と真正性を証明

生成したアバターをNFT化することで、アバターに唯一性を示す情報を付与する。一方、NFT化だけではアバターの不正コピーや二次加工は防止できないため、AVATECTでは、目視では判別できない情報「電子透かし」を埋め込むことで、オリジナルかコピーされたものかを判別できるようにし、アバターの真正性を証明する。凸版印刷、アバターの真正性を証明する管理基盤AVATECTを開発、メタバースでのアバター不正利用やなりすまし抑止

アバターの本人認証(2022年度実装予定)

凸版印刷が提供する「本人確認アプリ」との連携により、アバターの登録やメタバースへのアバターのアップロードロード権限を、本人確認された利用者のみに限定することを実現する。またこの本人確認アプリでは、地方公共団体情報システム機構(J-LIS)が提供する公的個人認証システムと連携し、マイナンバーカードを使って本人確認を行う。

将来的には、メタバース内で提供される会員入会申込みやオンライン決済のような本人確認が必要なサービスにおいて、アバターと本人確認された利用者を紐づけることで、サービス事業者が本人確認書類の確認プロセスを経ずにサービス提供を行えるようにする。

アンソニー・ボーディン氏の最新ドキュメンタリー「Roadrunner」にはディープフェイク音声が使われている

米国時間7月16日、Anthony Bourdain(アンソニー・ボーディン)氏を描いたドキュメンタリー映画「Roadrunner」が米国の劇場で公開される。多くのドキュメンタリーと同様に、本作はインタビューや未公開シーンを含む数多くの記録映像から作られており、主人公の物語を自身の言葉で語らせようとしている。作品ではボーディン氏が2018年に自殺する前にカメラの前で話したことのなかった言葉も、彼の声で聞くことができる。

The New Yorker(ニューヨーカー)のインタビューに答えて、同作品の監督であるMorgan Neville(モーガン・ネヴィル)氏は、ボーディン氏に話して欲しかった発言が3つあったが、録音がなかったので代わりにソフトウェアを使って再現した、と語った。「彼の声のAIモデルを作りました」と同監督がNew Yorkerに語った。

それは簡単な仕事ではなかったようだ。別のGQのインタビューでネヴィル氏は、プロジェクトについて4つの会社と話をして一番良いところに決めたと語った。その会社は約10時間の音声をAIモデルに読み込ませた。ネヴィル氏が望むソフトウェアで再現するボーディン氏の正確な口調を決めるのには多大な労力が必要だった。作家で旅行家だった彼が文章を口述するやり方は長年のTV出演の間に大きく変わったからだ。

これまでに見たことのあるAIディープフェイクで人を騙すやり方と比べて、出来は悪くないが、倫理的にはやはり疑問が残る。私が知る限り、この映画にボーディン氏の声をAIで再現したことを示す情報開示はない。「この映画を見たら、わかっているもの以外、どのセリフをAIがしゃべっているのかは、たぶんわからないでしょう」とネヴィル氏はThe New Yorkerに話した「後日ドキュメンタリー倫理委員会を開くかもしれません」。GQのインタビューでは、ボーディン氏の遺族が彼に「トニーが生きていれば喜んだことでしょう」と言ったことを話し「私は彼の言葉を生き返らせようとしただけ」と付け加えた。

【編集部注】本稿(原文記事)はEngadgetで掲載された。

カテゴリー:人工知能・AI
タグ:映画合成音声ディープフェイク

画像クレジット:CNN / Focus Features

原文へ

(文:Igor Bonifacic、翻訳:Nob Takahashi / facebook

ディープフェイクのビジネス活用、技術の悪用防止をめぐる戦い

ディープフェイクのビジネス活用と悪用防止をめぐる戦い

アフロ

編集部注:この原稿は、MIN SUN(ミン・スン)氏による寄稿である。同氏は、AppierのチーフAIサイエンティストを務めている。Appierは、AI(人工知能)テクノロジー企業として、企業や組織の事業課題を解決するためのAIプラットフォームを提供している。

顔認識技術を用いて動画内の人物の顔に、画像データの人物の顔を当て込むディープフェイクという技術がある。近年、注目度が高まっている技術のひとつだが、ディープフェイクと聞いてどのようなイメージが湧いてくるだろうか?

おそらく多くの人がネガティブなイメージを思い浮かべるだろう。著名人の顔をアダルトコンテンツにはめ込んだ動画や政治家が問題発言をしている動画が拡散、流通した事件はまだ記憶に新しい。

技術の悪用がメディアに大々的に取り沙汰され、悪評を得てしまったディープフェイクだが、この技術はどんな目的で開発されたのだろうか。

本寄稿では、ディープフェイクの誕生から社会に広まっていく過程、ビジネスにおいて期待されている活用策について、ディープラーニング技術の社会実装を目指す研究者としての立場から考察していく。

ディープフェイクとは?

「ディープフェイク」という単語自体は、ディープラーニングを活用したフェイク画像あるいは動画のことを指し、2017年にRedditに複数のフェイク動画を投稿したユーザーのID「deepfakes」に由来する。この辺りの経緯は、プレプリント含め様々な論文を保存・公開しているarXivにある「Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward」が詳しい。

近年、大きな注目を集めているディープフェイクだが、実は約20年前に開発された「Synthesis Human Technology」(人物画像合成技術)が技術の根幹を成しており、これら技術そのものは映画業界を中心に以前から盛んに活用されていた。

たとえば、2009年に公開された映画「アバター」は、俳優の表情や体全体の動作を捉え、CGキャラクターを重ねる形で制作されている。しかし、この作業は専用の機材が必要なため、莫大な制作費が発生してしまうという難点があった。

この難点の解決につながるきっかけとなったのが、2012年だ。2012年の画像分類コンテストにおいて、「AlexNet」が活用しているディープラーニング(深層学習)が注目を浴び、第三次AIブームへの期待値が高まり始めた(総務省 平成28年版 情報通信白書「人工知能(AI)研究の歴史」)。そして2015年前後にはAIの社会実装に向けた様々なコンセプトが起草された。

2015年、ワシントン大学のSteve Seitz(スティーブ・セイツ)教授らによって、高価な機材を使うスタジオで撮影を行わずとも表情を重ね合わせられるようになる技術が開発された。

さらに、2016年にはミュンヘン工科大学のMatthias Niessner(マティアス・ニースナー)教授が発表した「Face2Face: Real-time Face Capture and Reenactment of RGB Videos」で技術はさらに進歩をとげ、ノートPCのカメラを使用して3Dの顔をリアルタイムで操作できるようになった。

これらの技術進歩の過程を経て、2017年、「GAN」(敵対的生成ネットワーク。Generative Adversarial Networks)と呼ばれる画像生成技術と上記の技術などを組み合わせた「ディープフェイク」および関連オープンソースソフトウェアが登場するに至った。

これらディープフェイク関連ソフトウェアの登場により、PCにインストールし、動画と画像データを集めるだけでフェイク動画を生成できるようになった。ディープラーニングに関する深い知見を持たずとも利用できるソフトウェアということも相まり、一般人によりフェイク動画が数多く生成されていった。

当初はいたずら感覚で政治家や芸能人が普通であればしないような動きや発言をするフェイク動画が作られていたのだが、活用は悪意ある方向に少しずつエスカレートし、フェイク動画の流通がメディアで大々的に取り上げられ、逮捕者が出るまでに至ってしまったのだ。

ビジネスにおけるディープフェイク活用

ディープフェイクが意図しない形で悪用されているという事実がある一方、ビジネスにおける前向きな活用も進められている。

エンターテインメント領域では、映画制作への活用はもとより、スマートフォンアプリのような個人が利用するサービスとしてもディープフェイクの技術は盛んに活用されている。たとえば、Snapが提供するSnapChatのFace Swap機能では、2人以上が写真に写っている場合、顔をスワップすることが可能だ。また、自身の顔のパーツを有名人のものとスワップすることもできる。

広告分野では、スタントマンの動作にGANで生成した架空の顔を重ね合わせ、仮想モデルのCMを作る取り組みなどが進んでいる。これにより、有名人を起用するコストを抑えることができる。また、仮想モデルは現実には存在しないため、スキャンダルや不祥事によるブランドイメージの毀損リスクを排除することにもつながる。

こうしたビジネス活用の例から分かる通り、ディープフェイクは悪評が先行しているだけで、必ずしも悪い技術ではないということだ。

悪意に対するカウンター

ただ、ディープフェイクを用いた有益なビジネスが生まれているからといってこれまでに根付いてしまった悪評が自然消滅するわけではない。

そのため、近年ではディープフェイクの悪用を検知するための取り組みが産学を中心に進められている。

アカデミックの世界では、ディープフェイクを検知する技術が確立されつつある。2019年ICCV(International Conference of Computer Vision)というコンピュータービジョン領域の国際会議では、90%以上の精度でディープフェイクの動画を検知する技術の開発に成功したとの発表があった(「FaceForensics++: Learning to Detect Manipulated Facial Images」)。

そして、現代における情報拡散の中心であるソーシャルメディアを運営する企業でもディープフェイクの悪用を防止するための検証が動き出している。ソーシャルメディアの代表格であるFacebook(フェイスブック)では、AIを用いてディープフェイクを検知するプロジェクト「Deepfake Detection Challenge」(DFDC)が立ち上がっており、ディープフェイクの検知にAIが有効だという報告も上がっている。このプロジェクトの最終的な結果によっては、フェイスブック上で拡散されている動画がフェイクの可能性があるときに「この動画はフェイクかもしれない」というようなメッセージをユーザーに自動で発信できるようになる。

余談となるが、産学でディープフェイクの検知に関する成果が上がりつつある一方、テキストベースのフェイクニュースに効果的な技術はまだ確立されていない。ディープフェイクには、コンピューターにより検知できる特徴的なシグナルがある。しかし、テキストベースのフェイクニュースの場合、膨大なデータソースから情報を収集し、内容の真偽を総合的に判断しなければならないため、AIによる自動検知が難しいというわけだ。

ディープフェイクの検知技術は年々向上している。しかし、100%の精度で偽物を見破れるわけではない。テキストや画像などの情報媒体も含め、社会に生きる全員が意識的に情報の真偽を判断するためのリテラシーを身に着けていくことが悪意ある情報を駆逐する近道なのかもしれない。

関連記事
口コミで大流行の顔交換ビデオアプリRefaceにa16zなどの有名投資会社が約6億円を出資
Facebookの判別コンペはディープフェイク抑止に有望な第一歩
Facebookが10億円超を投じてディープフェイクの識別に賞金
Snapchatは自分の顔でディープフェイクできるCameoをテスト中
デビッド・ベッカムの「ディープフェイク」ビデオを作ったスタートアップが3.3億円超を調達
国防総省のDARPA研究所が改悪改竄ビデオを検出する技術で研究助成事業を展開
Facebookがリベンジポルノ防止策―マークされた画像の拡散を禁止
ディープラーニングと検索エンジン最適化の新たな時代
人工知能の最前線―人間の脳を真似るコンピューター
Facebookがディープラーニングツールの一部をオープンソース化

カテゴリー:人工知能・AI
タグ:AI / 人工知能(用語)ディープフェイク(用語)ディープラーニング / 深層学習(用語)

欧州がリスクベースのAI規制を提案、AIに対する信頼と理解の醸成を目指す

欧州連合(EU)の欧州委員会が、域内市場のリスクの高い人工知能(AI)の利用に関するリスクベースの規制案を公表した。

この案には、中国式の社会信用評価システム、身体的・精神的被害を引き起こす可能性のあるAI対応の行動操作手法など、人々の安全やEU市民の基本的権利にとって危険性の高さが懸念される一部のユースケースを禁止することも含まれている。法執行機関による公共の場での生体認証監視の利用にも制限があるが、非常に広範な免除を設けている。

今回の提案では、AI使用の大部分は(禁止どころか)いかなる規制も受けていない。しかし、いわゆる「高リスク」用途のサブセットについては「ex ante(事前)」および「ex post(事後)」の市場投入という特定の規制要件の対象となる。

また、チャットボットやディープフェイクなど、一部のAIユースケースには透明性も求められている。こうしたケースでは、人工的な操作を行っていることをユーザーに通知することで、潜在的なリスクを軽減できるというのが欧州委員会の見解だ。

この法案は、EUを拠点とする企業や個人だけでなく、EUにAI製品やサービスを販売するすべての企業に適用することを想定しており、EUのデータ保護制度と同様に域外適用となる。

EUの立法者にとって最も重要な目標は、AI利用に対する国民の信頼を醸成し、AI技術の普及を促進することだ。欧州の価値観に沿った「卓越したエコシステム」を開発したいと、欧州委員会の高官は述べている。

「安全で信頼できる人間中心の人工知能の開発およびその利用において、欧州を世界クラスに高めることを目指します」と、欧州委員会のEVP(執行副委員長)であるMargrethe Vestager(マルグレーテ・ベステアー)氏は記者会見で提案の採択について語った

「一方で、私たちの規制は、AIの特定の用途に関連する人的リスクおよび社会的リスクに対処するものです。これは信頼を生み出すためです。また、私たちの調整案は、投資とイノベーションを促進するために加盟国が取るべき必要な措置を概説しています。卓越性を確保するためです。これはすべて、欧州全域におけるAIの浸透を強化することを約束するものです」。

この提案では、AI利用の「高リスク」カテゴリー、つまり明確な安全上のリスクをともなうもの、EUの基本的権利(無差別の権利など)に影響を与える恐れのあるものに、義務的な要件が課されている。

最高レベルの使用規制対象となる高リスクAIユースケースの例は、同規制の附属書3に記載されている。欧州委員会は、AIのユースケースの開発とリスクの進化が続く中で、同規制は委任された法令によって拡充する強い権限を持つことになると述べている。

現在までに挙げられている高リスク例は、次のカテゴリーに分類される。

  • 自然人の生体認証およびカテゴリー化
  • クリティカルなインフラストラクチャの管理と運用
  • 教育および職業訓練
  • 雇用、労働者管理、および自営業へのアクセス
  • 必要不可欠な民間サービスおよび公共サービスならびに便益へのアクセスと享受
  • 法執行機関; 移民、亡命、国境統制の管理; 司法および民主的プロセスの運営

AIの軍事利用に関しては、規制は域内市場に特化しているため、適用範囲から除外されている。

リスクの高い用途を有するメーカーは、製品を市場に投入する前に遵守すべき一連の事前義務を負う。これには、AIを訓練するために使用されるデータセットの品質に関するものや、システムの設計だけでなく使用に関する人間による監視のレベル、さらには市販後調査の形式による継続的な事後要件が含まれる。

その他の要件には、コンプライアンスのチェックを可能にし、関連情報をユーザーに提供するためにAIシステムの記録を作成する必要性が含まれる。AIシステムの堅牢性、正確性、セキュリティも規制の対象となる。

欧州委員会の関係者らは、AIの用途の大部分がこの高度に規制されたカテゴリーの範囲外になると示唆している。こうした「低リスク」AIシステムのメーカーは、使用に際して(法的拘束力のない)行動規範の採用を奨励されるだけだ。

特定のAIユースケースの禁止に関する規則に違反した場合の罰則は、世界の年間売上高の最大6%または3000万ユーロ(約39億4000万円)のいずれか大きい方に設定されている。リスクの高い用途に関連する規則違反は4%または2000万ユーロ(約26億3000万円)まで拡大することができる。

執行には各EU加盟国の複数の機関が関与する。提案では、製品安全機関やデータ保護機関などの既存(関連)機関による監視が想定されている。

このことは、各国の機関がAI規則の取り締まりにおいて直面するであろう付加的な作業と技術的な複雑性、そして特定の加盟国において執行上のボトルネックがどのように回避されるかという点を考慮すると、各国の機関に十分なリソースを提供することに当面の課題を提起することになるだろう。(顕著なことに、EU一般データ保護規則[GDPR]も加盟国レベルで監督されており、一律に厳格な施行がなされていないという問題が生じている)。

EU全体のデータベースセットも構築され、域内で実装される高リスクシステムの登録簿を作成する(これは欧州委員会によって管理される)。

欧州人工知能委員会(EAIB)と呼ばれる新しい組織も設立される予定で、GDPRの適用に関するガイダンスを提供する欧州データ保護委員会(European Data Protection Board)に準拠して、規制の一貫した適用をサポートする。

AIの特定の使用に関する規則と歩調を合わせて、本案には、EUの2018年度調整計画の2021年アップデートに基づく、EU加盟国によるAI開発への支援を調整するための措置が盛り込まれている。具体的には、スタートアップや中小企業がAIを駆使したイノベーションを開発・加速するのを支援するための規制用サンドボックスや共同出資による試験・実験施設の設置、中小企業や公的機関がこの分野で競争力を高めるのを支援する「ワンストップショップ」を目的とした欧州デジタルイノベーションハブのネットワークの設立、そして域内で成長するAIを支援するための目標を定めたEU資金提供の見通しなどである。

域内市場委員のThierry Breton(ティエリー・ブレトン)氏は、投資は本案の極めて重要な部分であると述べている。「デジタル・ヨーロッパとホライズン・ヨーロッパのプログラムの下で、年間10億ユーロ(約1300億円)を解放します。それに加えて、今後10年にわたって民間投資とEU全体で年間200億ユーロ(約2兆6300億円)の投資を生み出したいと考えています。これは私たちが『デジタルの10年』と呼んでいるものです」と同氏は今回の記者会見で語った。「私たちはまた、次世代EU[新型コロナウイルス復興基金]におけるデジタル投資の資金として1400億ユーロ(約18兆4000億円)を確保し、その一部をAIに投資したいと考えています」。

AIの規則を形成することは、2019年末に就任したUrsula von der Leyen(ウルズラ・フォン・デア・ライエン)EU委員長にとって重要な優先事項だった。2018年の政策指針「EUのためのAI(Artificial Intelligence for Europe)」に続くホワイトペーパーが2020年発表されている。ベステアー氏は、今回の提案は3年間の取り組みの集大成だと述べた。

ブレトン氏は、企業がAIを適用するためのガイダンスを提供することで、法的な確実性と欧州における優位性がもたらされると提言している。

「信頼【略】望ましい人工知能の開発を可能にするためには、信頼が極めて重要だと考えます」と同氏はいう。「(AIの利用は)信頼でき、安全で、無差別である必要があります。それは間違いなく重要ですが、当然のことながら、その利用がどのように作用するかを正確に理解することも求められます」。

「必要なのは、指導を受けることです。特に新しいテクノロジーにおいては【略】私たちは『これはグリーン、これはダークグリーン、これはおそらく若干オレンジで、これは禁止されている』といったガイドラインを提供する最初の大陸になるでしょう。人工知能の利用を考えているなら、欧州に目を向けてください。何をすべきか、どのようにすべきか、よく理解しているパートナーを得ることができます。さらには、今後10年にわたり地球上で生み出される産業データの量が最も多い大陸に進出することにもなるのです」。

「だからこそこの地を訪れてください。人工知能はデータに関するものですから―私たちはガイドラインを提示します。それを行うためのツールとインフラも備えています」。

本提案の草案が先にリークされたが、これを受けて、公共の場での遠隔生体認証による監視を禁止するなど、計画を強化するよう欧州議会議員から要請があった。

関連記事
EUがAIのリスクベース規則の罰金を全世界年間売上高の最大4%で計画、草案流出で判明
欧州議会議員グループが公共の場での生体認証監視を禁止するAI規制を求める

最終的な提案においては、遠隔生体認証監視を特にリスクの高いAI利用として位置づけており、法執行機関による公の場での利用は原則として禁止されている。

しかし、使用は完全に禁止されているわけではなく、法執行機関が有効な法的根拠と適切な監督の下で使用する場合など、例外的に利用が認められる可能性があることも示唆されている。

脆弱すぎると非難された保護措置

欧州委員会の提案に対する反応には、法執行機関による遠隔生体認証監視(顔認識技術など)の使用についての過度に広範な適用除外に対する批判の他、AIシステムによる差別のリスクに対処する規制措置が十分ではないという懸念が数多くみられた。

刑事司法NGOのFair Trialsは、刑事司法に関連した意義ある保護措置を規制に盛り込むには、抜本的な改善が必要だと指摘した。同NGOの法律・政策担当官であるGriff Ferris(グリフ・フェリス)氏は、声明の中で次のように述べている。「EUの提案は、刑事司法の結果における差別の固定化の防止、推定無罪の保護、そして刑事司法におけるAIの有意義な説明責任の確保という点で、抜本的な改革を必要としています」。

「同法案では、差別に対する保護措置の欠如に加えて、『公共の安全を守る』ための広範な適用除外において刑事司法に関連するわずかな保護措置が完全に損なわれています。この枠組みには、差別を防止し、公正な裁判を受ける権利を保護するための厳格な保護措置と制限が含まれていなければなりません。人々をプロファイリングし、犯罪の危険性を予測しようとするシステムの使用を制限する必要があります」。

欧州自由人権協会(Civil Liberties Union for Europe[Liberties])も、同NGOが主張するような、EU加盟国による不適切なAI利用に対する禁止措置の抜け穴を指摘している。

「犯罪を予測したり、国境管理下にある人々の情動状態をコンピューターに評価させたりするアルゴリズムの使用など、問題のある技術利用が容認されているケースは数多く存在します。いずれも重大な人権上のリスクをもたらし、EUの価値観を脅かすものです」と、上級権利擁護担当官のOrsolya Reich(オルソリヤ・ライヒ)氏は声明で懸念を表明した。「警察が顔認識技術を利用して、私たちの基本的な権利と自由を危険にさらすことについても憂慮しています」。

ドイツ海賊党の欧州議会議員Patrick Breyer(パトリック・ブレイヤー)氏は、この提案は「欧州の価値」を尊重するという主張の基準を満たしていないと警告した。同氏は、先のリーク草案に対して基本的権利の保護が不十分だと訴える書簡に先に署名した40名の議員のうちの1人だ。

「EUが倫理的要件と民主的価値に沿った人工知能の導入を実現する機会をしっかり捕捉しなれけばなりません。残念なことに、欧州委員会の提案は、顔認識システムやその他の大規模監視などによる、ジェンダーの公平性やあらゆるグループの平等な扱いを脅かす危険から私たちを守るものではありません」と、今回の正式な提案に対する声明の中でブレイヤー氏は語った。

「公共の場における生体認証や大規模監視、プロファイリング、行動予測の技術は、私たちの自由を損ない、開かれた社会を脅かすものです。欧州委員会の提案は、公共の場での自動顔認識の高リスクな利用をEU全域に広めることになるでしょう。多くの人々の意思とは相反します。提案されている手続き上の要件は、煙幕にすぎません。これらの技術によって特定のグループの人々を差別し、無数の個人を不当に差別することを容認することはできません」。

欧州のデジタル権利団体Edriも「差別的な監視技術」に関する提案の中にある「憂慮すべきギャップ」を強調した。「この規制は、AIから利益を得る企業の自己規制の範囲が広すぎることを許容しています。この規制の中心は、企業ではなく人であるべきです」と、EdriでAIの上級政策責任者を務めるSarah Chander(サラ・チャンダー)氏は声明で述べている。

Access Nowも初期の反応で同様の懸念を示しており、提案されている禁止条項は「あまりにも限定的」であり、法的枠組みは「社会の進歩と基本的権利を著しく損なう多数のAI利用の開発や配備を阻止するものではない」と指摘している。

一方でこうしたデジタル権利団体は、公的にアクセス可能な高リスクシステムのデータベースが構築されるなどの透明性措置については好意的であり、規制にはいくつかの禁止事項が含まれているという事実を認めている(ただし十分ではない、という考えである)。

消費者権利の統括団体であるBEUCもまた、この提案に対して即座に異議を唱え、委員会の提案は「AIの利用と問題の非常に限られた範囲」を規制することにフォーカスしており、消費者保護の点で脆弱だと非難した。

「欧州委員会は、消費者が日々の生活の中でAIを信頼できるようにすることにもっと注力すべきでした」とBEUCでディレクターを務めるMonique Goyens(モニーク・ゴヤンス) 氏は声明で述べている。「『高リスク』、『中リスク』、『低リスク』にかかわらず、人工知能を利用したあらゆる製品やサービスについて人々の信頼の醸成を図るべきでした。消費者が実行可能な権利を保持するとともに、何か問題が起きた場合の救済策や救済策へのアクセスを確保できるよう、EUはより多くの対策を講じるべきでした」。

機械に関する新しい規則も立法パッケージの一部であり、AIを利用した変更を考慮した安全規則が用意されている(欧州委員会はその中で、機械にAIを統合している企業に対し、この枠組みに準拠するための適合性評価を1度実施することのみを求めている)。

Airbnb、Apple、Facebook、Google、Microsoftなどの大手プラットフォーム企業が加盟する、テック業界のグループDot Europe(旧Edima)は、欧州委員会のAIに関する提案の公表を好意的に受け止めているが、本稿執筆時点ではまだ詳細なコメントを出していない。

スタートアップ権利擁護団体Allied For Startupsは、提案の詳細を検討する時間も必要だとしているが、同団体でEU政策監督官を務めるBenedikt Blomeyer(ベネディクト・ブロマイヤー)氏はスタートアップに負担をかける潜在的なリスクについて警鐘を鳴らしている。「私たちの最初の反応は、適切に行われなければ、スタートアップに課せられる規制上の負担を大幅に増加させる可能性があるということでした」と同氏はいう。「重要な問題は、欧州のスタートアップがAIの潜在的な利益を享受できるようにする一方で、本案の内容がAIがもたらす潜在的なリスクに比例するものかという点です」。

その他のテック系ロビー団体は、AIを包み込む特注のお役所仕事を期待して攻撃に出るのを待っていたわけではないだろうが、ワシントンとブリュッセルに拠点を置くテック政策シンクタンク(Center for Data Innovation)の言葉を借りれば、この規制は「歩き方を学ぶ前に、EUで生まれたばかりのAI産業を踏みにじる」ものだと主張している。

業界団体CCIA(Computer & Communications Industry Association)もまた「開発者やユーザーにとって不必要なお役所仕事」に対して即座に警戒感を示し、規制だけではEUをAIのリーダーにすることはできないと付け加えた。

本提案は、欧州議会、および欧州理事会経由の加盟国による草案に対する見解が必要となる、EUの共同立法プロセスの下での膨大な議論の始まりである。つまり、EUの機関がEU全体のAI規制の最終的な形について合意に達するまでに、大幅な変更が行われることになるだろう。

欧州委員会は、他のEU機関が直ちに関与することを期待し、このプロセスを早急に実施できることを望んでいると述べるにとどまり、法案が採択される時期については明言を避けた。とはいえ、この規制が承認され、施行されるまでには数年かかる可能性がある。

【更新】本レポートは、欧州委員会の提案への反応を加えて更新された。

カテゴリー:パブリック / ダイバーシティ
タグ:EU人工知能チャットボットディープフェイク透明性GDPR欧州データ保護委員会生体認証顔認証

画像クレジット:DKosig / Getty Images

原文へ

(文:Natasha Lomas、翻訳:Dragonfly)

ディープフェイク技術が衛星地図を模造

AIが作り出した合成画像いわゆる「ディープフェイク」に関して、主に本人の同意なく作られた人間の画像が激しく非難されているが、この技術は他の分野でも危険であり、そしてときにはおもしろい。たとえば研究者たちは、衛星画像を操作して、本物そっくりだが完全に偽のオーバーヘッドマップを作れることを示した。

ワシントン大学の助教授Bo Zhao(ボー・ジャオ)氏が指導し論文も書いたその研究は、警告のためではなく、このやや悪名高い技術を地図の作成に応用した場合にありうるリスクとチャンスを示すために行われた。彼らのやり方は、一般的にディープフェイクとして知られているものよりもむしろ、画像を印象派風、クレヨン画風など任意のスタイルに変換する「画風変換」に似ている。

チームは機械学習のシステムを、シアトルとタコマ近郊、および北京という3つの都市の衛星画像でトレーニングした。絵が画家や媒体によって違うように、それぞれの画像には視像としての明確な違いがある。たとえばシアトルは市街地を覆う大きな緑があり道路は狭い。一方、北京はもっとモノクロームだ。研究に使われた画像では、ビルが長い影を地上に落としている。システムは、GoogleやAppleの街路地図を、これら衛星からのビューに結びつけることを学んだ。

その結果得られた機械学習エージェントは、街路地図を与えられると本物らしく見える偽の衛星画像を、それらの都市のように見えるものがあれば返す。下の画像では、左上の地図は右上のタコマの衛星画像に対応している。一方その下の画像は、色調などの画風がシアトル風と北京風だ。

画像クレジット:Zhao et al.

よく見ると、フェイクマップは本物ほどシャープでなく、行き止まりの道路といった論理的な不整合性もある。しかしざっと見ると、シアトルと北京の画像は完全に本物のようだ。

このようなフェイクマップは、合法的であってもなくっても、その利用についてはよく考える必要がある。研究者たちが提案しているのは、衛星画像が手に入らないような場所の作成シミュレーションだ。そのような都市の、衛星画像らしきものを作ることはできるだろうし、緑地を拡張するといった都市計画にも利用できる。必ずしもこのシステムを、他の場所の模造に使う必要はない。たとえば同じ都市の人口過密地や、道路が広い地区で訓練することもできるだろう。

想像の羽を広げれば、やや遊びにも近いようなこのプロジェクトで、古代の手描きの地図から本物そっくりの現代的な地図を作ることもできるのではないだろうか。

このような技術があまり建設的でない目的で使われた場合に備えて、この研究論文は、色や特徴をよく調べてそのような模造画像を検出する方法にも目を向けている。

ワシントン大学のニュース記事の中でジャオ氏は、この研究が「衛星画像などの地理空間的データの絶対的な信頼性」という一般的な想定に挑戦している、と述べている。他のメディアでもそうだが、新たな脅威が登場すれば、そんなおめでたい考えは棚上げにされるべきだ。論文の全文はCartography and Geographic Information Scienceで読むことができる。

カテゴリー:人工知能・AI
タグ:地図ワシントン大学ディープフェイク

画像クレジット:SEAN GLADWELL/Getty Images

原文へ

(文:Devin Coldewey、翻訳:Hiroshi Iwatani)

アインシュタインのチャットボットに「声」を与えるAflorithmicのAI音声クローン技術

合成メディアの奇妙な世界から生まれたディープフェイクの一端に、耳を傾けてみてほしい。これはAlbert Einstein(アルバート・アインシュタイン)のデジタル版。有名な科学者の実際の声を録音した音声記録を元に、AIのボイスクローン技術を使って合成された声である。

この「不気味の谷」にいるアインシュタインの音声ディープフェイクを開発したのは、Aflorithmic(アフロリズミック)というスタートアップ企業だ(同社のシードラウンドについては2月に紹介した)。

関連記事:AI駆動でテキストを美しい合成音声として出力するAflorithmicが約1.4億円調達

動画に登場するアインシュタインの「デジタルヒューマン」を生み出したビデオエンジンは、もう1つの合成メディア企業であるUneeQ(ユニーク)が開発したもので、同社はウェブサイトでインタラクティブなチャットボット版を公開している。

Alforithmicによると、この「デジタル・アインシュタイン」は、会話型のソーシャルコマースが間もなく実現することを示すために作られたものだという。つまり、業界関係者が予見的に警告しているように、歴史上の人物を模したディープフェイクが、近いうちにあなたにピザを売ろうとするだろうと、手の込んだかたちで伝えているのだ。

また、このスタートアップは、ずっと前に亡くなった有名な人物にインタラクティブな「生命」を吹き込むことで、教育に役立てる可能性も見出しているという。

この「生命」とは人工的なそれに近いものという意味であり、完全に仮想上のもので、デジタル・アインシュタインの声は純粋な技術によるクローンではない。Alforithmicはチャットボットのボイスモデリングを行うために、俳優の協力を仰いだという(なぜなら、デジタル・アインシュタインが、例えば「ブロックチェーン」のような、生前の本人が夢にも思わなかったような言葉を言うとしたら、どんなふうに言うかを検討するためだ)。それによって、AIによる人工物を超えた存在ができあがる。

「これは、会話型ソーシャルコマースを実現する技術を紹介するための新たなマイルストーンです」と、AlforithmicのCOO(最高執行責任者)であるMatt Lehmann(マット・レーマン)氏は我々に語った。「克服しなければならない技術的な課題だけでなく、解消しなければならない欠陥もまだありますが、全体としては、この技術がどこに向かっているのかを示す良い方法ではないかと、私たちは考えています」。

Alforithmicは、アインシュタインの声をどのように再現したかを説明したブログ記事の中で、チャットボット版の生成に関わる困難な要素の1つに進展があったと書いている。それは、計算知識エンジンから入力されたテキストに対し、APIが応答音声を生成できるようになるまでの応答時間が、当初の12秒から3秒以下に短縮できたというものだ(これを同社では「ニア・リアルタイム」と呼んでいる)。しかし、これでもまだタイムラグがあり、ボットが退屈な存在から免れることはできていない。

一方、人々のデータやイメージを保護する法律は、生きている人間の「デジタルクローン」を作ることに法的および / または倫理的な問題を提示している。少なくとも、先に許可を得て(そしてほとんどの場合、お金を払って)からでなければできない。

もちろん、歴史上の人物は、自分の肖像が物を売るために流用されることの倫理性について厄介な質問をすることはない(今後、意思を持つ本物のクローン人間が誕生すれば話は別だが)。しかし、ライセンス権は適用される可能性があるし、現にアインシュタインの場合は適用されている。

「アインシュタインの権利は、このプロジェクトのパートナーであるHebrew University of Jerusalem(エルサレム・ヘブライ大学)にあります」とレーマン氏は言い、アインシュタインの「声のクローン」のパフォーマンスに、アーティストライセンスの要素が絡んでいることを告白した。「実際には、私たちはアインシュタインの声のクローンを作ったわけではなく、オリジナルの録音や映画から着想を得ています。アインシュタインの声のモデリングに協力してくれた声優は、彼自身がアインシュタインの崇拝者であり、彼の演技はアインシュタインというキャラクターを非常によく表現していると思いました」と、同氏は述べている。

ハイテクの「嘘」の真実は、それ自体が何層も重ねられたケーキのようなものであることがわかる。しかし、ディープフェイクで重要なのは、技術の巧拙ではなく、コンテンツが与える影響であり、それは常に文脈に依存する。どんなに精巧に(あるいは稚拙に)フェイクが作られていたとしても、そこから人々が見聞きしたことにどう反応するかによって、ポジティブなストーリー(創造的・教育的な合成メディア)から、深くネガティブなもの(憂慮すべき、誤解を招くようなディープフェイク)へと、全体的に話が変わってしまう。

「デジタル・アインシュタイン」を担当する2つの団体が拠点を置く欧州では、技術がさらに洗練されるにつれてディープフェイクが情報操作のツールになる可能性への懸念も高まっており、それがAIを規制する動きを後押ししている。

今週初めに草案がリークされた、人工知能の「高リスク」利用法を規制する汎EUの次期立法案には、ディープフェイクを特に対象とした項目が含まれていた。

この計画では、人間との対話を目的としたAIシステムや、画像・音声・映像コンテンツの生成・操作に使用されるAIシステムについて、「調和のとれた透明性ルール」を提案する見通しだ。

つまり、将来的にデジタル・アインシュタインのチャットボット(またはセールストーク)は、偽装を始める前に、自らが人工物であることを明確に宣言する必要がありそうだ。そうすれば、インターネットユーザーが、フェイクと本物を見分けるために、仮想的なフォークト・カンプフ検査を行う必要はなくなる。

しかし、今のところ、この博学な響きを持つデジタル・アインシュタインの対話型チャットボットには、馬脚を現すのに十分なラグがある。製作者も自分たちの作品を、AIを活用したソーシャルコマースのビジョンを他の企業に売り込むためのものであると明示している。

関連記事:

カテゴリー:人工知能・AI
タグ:Aflorithmic不気味の谷ディープフェイクチャットボット

画像クレジット:UneeQ

原文へ

(文:Natasha Lomas、翻訳:Hirokazu Kusakabe)

ディープフェイク動画のiOSアプリ「Avatarify」が電子透かし提供へ

ディープフェイク動画の作成は昔は大仕事だった。今や必要なのはスマートフォンだけだ。クラウドにアップせず、スマホ内で直接ディープフェイク動画を作るアプリを提供するスタートアップであるAvatarifyは、David Beckham(デビッド・ベッカム)の妻、Victoria Beckham(ヴィクトリア・ベッカム)などのセレブに利用され、アプリチャートで急上昇中だ。

しかしディープフェイク動画に共通する問題点は動画がフェイクであることを簡単に判断できるような電子透かしが添付されないことだ。Avatarifyは悪用その他の好ましくない事態を防ぐための電子透かしを近く提供開始するという。

米国に本社があるが本拠はモスクワのスタートアップAvatarifyは、2020年7月に創立されて以後、数百万回もダウンロードされている。ファウンダーによれば、2021年に入って以降だけで1億4000万本のディープフェイク動画が作成されたという。TikTokでは現在、ハッシュタグ「#avatarify」が付けられた動画の再生回数が1億2500万回に達している。ライバルには、資金豊富なSnapchatをはじめRefaceやWombo.ai、Mug Life、Xpressionなどがある。ただしAvatarifyの外部資金調達はエンジェルラウンドのみだ。

ファウンダーによれば、エンジェルラウンドで得た資金はわずか12万ドル(約1300万円)に過ぎなかったが、その後はベンチャーキャピタルを受け入れておらず、スクラッチでスタートしてたちまち1000万ダウンロードを達成し、10人足らずのチームで通年換算1000万ドル(約10億8900万円)のビジネスに成長したという。

これほど安定したビジネスを作れた理由はわかりやすい。Avatarifyは7日間の無料トライアルというフリーミアムのサブスクリプションモデルを採用している。サブスクリプション料金は年間契約の場合34.99ドル(約3800円)、週決めは2.49ドル(約270円)だ。無料で利用を続けることもできるが、動画には目に見える透かしが入る。

Avatarifyは、フリーミアムのサブスクリプションモデルを採用してるだけでなくプライバシー保護にも適した仕組みだという。動画はハッキングその他によって情報がリークされるる可能性があるクラウドにアップされることなく、スマートフォン(iPhone)上でローカルで処理される。

Avatarifyは機械学習アルゴリズムなどを利用してユーザーが選択した写真を加工し、顔をアニメーションさせたり、サウンドと同期させたりしてショート動画を作成する。ユーザーは素材写真を選び、エフェクトや音楽を選択してタップするだけでよい。Avatarifyが自動的にアニメーションさせる。成果物はInstagramやTikTokにショート動画として投稿することができる。

特にTikTokではAvatarify動画が大人気だ。ティーンエージャーは自分でダンスしなくても有名人や友達はてはペットの写真を処理してアニメ化できるからだ。苦労して自分が下手なダンスを披露するよりずっとクリエイティブなアイデアが利用できるわけだ。

Avartifyは「このアプリを使って他人になりすますような悪用をしてはならない」と警告しているが、もちろんこれを効果的に禁圧する方法はない。

共同ファウンダーのAli Aliev(アリ・アリエフ)氏とKarim Iskakov(カリム・イシャコフ)氏は、2020年4月に新型コロナウイルスによるロックダウンが強制されたときにこのアプリを開発したという。アリエフ氏はPythonでプログラムを書くのに2時間しかかからなかったという。これはZoomのフィルターを使って自分の顔の表情を別の顔にマッピングするものだった。その結果フェイクビデオをリアルタイムでZoomにストリーミングすることができるようになった。アリエフ氏はElon Mask(イーロン・マスク)氏の顔のアバターで通話に登場し、その場にいた全員が仰天したという。チームがこの動画を投稿したこころバイラルに拡散した。

ファンダーがこのコードをGithubに掲載するとすぐにダウンロード数が伸び始めたという。2020年4月6日にリポジトリを公開し、2021年3月19日時点で5万回のダウンロードを記録した。

アリエフ氏はSamsun AIセンターでの仕事を辞めアプリの開発に専念した。2020年6月28日にAvatarifyのiOSアプリが公開されるとTikTokのバイラル動画で拡散され、有償販売開始前だったにもかかわらずApp Storeのトップチャートにランクインした。2021年2月には、Avatarifyは世界の無料アプリのランキングで1位になった。2021年2月から3月までの期間では月間収益が100万ドル(約1億1000万円)を超えた(AppMagicより)

こうした成功にも関わらずAvartifyもディープフェイクビデオが持つ根本的な問題からの逃れることができていない。つまり無断で他人の顔写真を利用してポルノ動画を作成するなどディープフェイク動画の悪用問題は依然として残っている。電子透かしの提供は正しい方向への一歩だろう。

カテゴリー:人工知能・AI
タグ:Avatarifyディープフェイクアプリ電子透かし

画像クレジット:Avatarify

原文へ

(文:Mike Butcher、翻訳:滑川海彦@Facebook

顔交換も簡単にできる中国のマシン動画生成スタートアップSurrealが創業3カ月で資金調達

もし動画を作るためのカメラが不要になり、数行のコーディングで動画を生成できるようになったとしたらどうだろう?

機械学習の進歩が、そのアイデアを現実のものにしつつある。私たちも、ディープフェイク技術が家族写真で顔を入れ替えたり、自撮りを有名なビデオクリップに変えたりする例を見てきた。現在、AI研究のバックグラウンドを持つ起業家たちが、アルゴリズムを使って超リアルな写真や音声、動画を生成するためのツールを考案している最中だ。

関連記事
MyHeritageが古い家族写真をディープフェイク技術でアニメーション化
口コミで大流行の顔交換ビデオアプリRefaceにa16zなどの有名投資会社が約6億円を出資

こうした技術を開発しているスタートアップの1つが、中国に拠点を置くSurreal(サーリアル)だ。同社は設立からわずか3カ月しか経っていないが、Sequoia ChinaとZhenFundという2つの著名な投資家からすでに、シードラウンドで200万~300万ドル(約2億1000万〜3億2000万円)の資金を調達している。創業者でCEOのXu Zhuo(シュウ・チョウ)氏はTechCrunchに対して、Surrealは今回のラウンドで10件近くの投資オファーを受けたと語っている。

Surrealを創業する前、シュウ氏はSnap(スナップ)に6年間在籍していて、同アプリの広告レコメンデーションシステム、機械学習プラットフォーム、AIカメラ技術の開発に携わっていた。この経験はシュウ氏に、合成メディアが主流になると確信させた。なぜならそのツールは「コンテンツ制作のコストを大幅に下げることができる」からだと、シュウ氏は、深圳(シンセン)にある Surreal社の十数人規模のオフィスで行われたインタビューで語っている。

とはいえ、Surrealには、人間のクリエイターやアーティストを置き換えようという意図はない。実際、シュウ氏は、今後数十年の間に機械が人間の創造性を超えることはないと考えているのだ。この信念を体現しているのが、同社の中国名である「诗云」(シーユン、詩雲)だ。これは、SF作家の劉慈欣(リュウ・ジキン)氏の小説のタイトルから取られたもので、その小説は技術が古代中国の詩人李白に勝てないという物語だ。

「私たちの方程式は『視覚的なストーリーテリングは、創造性プラス制作力に等しい』というものです」とシュウ氏は目を輝かせながら語る。「私たちはその『制作力』の部分に注力しているのです」。

ある意味、マシン動画生成とは、Douyin(抖音、ドウイン、中国版TikTok)やKuaishou(快手、カイショウ)を人気の高いものにしたビデオフィルターを、ステップアップしたような強化版ビデオツールなのだ。既存のショートビデオアプリはプロ並みの動画を作るための障壁を大幅に下げてくれるものの、それでもカメラは必要だ。

「ショートビデオのキモは、決してショートビデオの形式そのものではありません。肝心な点はより良いカメラ技術を手に入れることができるかどうかです。これによってビデオ制作コストが下がります」とシュウ氏は語る。彼はSurrealを、TikTokの親会社ByteDance(バイトダンス)のベテランであるWang Liang(ワン・リエン)氏とともに設立した。

ディープフェイクの商品化

Google(グーグル)、Facebook(フェイスブック)、Tencent(テンセント)、ByteDanceなどの世界最大のテック企業の中にも、GAN(敵対的生成ネットワーク)に取り組んでいる研究チームがある。シュウ氏の戦略は、大型契約へと向かっている重量級のアプリとは直接対決しないことだ。むしろ、Surrealは中小の顧客を狙っている。

eコマース販売者向けのSurrealの顔交換ソフト

Surrealのソフトウェアは現在のところ企業顧客にのみ提供されていて、顧客はアップロードされたコンテンツの顔を変更したり、まったく新しい画像や動画を生成したりするために使用することができる。シュウ氏はSurrealを「動画用Google翻訳」と呼んでいる、なぜならそのソフトウェアは人間の顔を交換するだけでなく、登場人物が話す言語を同時に翻訳し、声と唇を一致させることができるからだ。

ユーザーは動画や画像ごとに課金される。今後、Surrealは顔だけでなく、人の服や動きをアニメーション化することも目指している。Surrealは財務状況の公表を拒んだが、シュウ氏によれば、同社は約1000万件の写真と動画の注文を受け付けたという。

現在、多くの需要があるのは、中国のeコマース輸出企業だ。彼らはマーケティング素材に西洋人のモデルを登場させるためにSurrealを使っている。本物の外国人モデルを雇うのはコストがかかるが、アジア人モデルを採用しても効果があるかどうかはわからない。Surrealの「モデル」を使用することで、一部の顧客は2倍の投資収益率(ROI)を達成することができたとシュウ氏はいう。数百万ドル(数億円)のシード資金を手にした Surreal は、アルゴリズムの改善のために大量のデータを収集できるように、オンライン教育などのより多くのユースケースを模索することを計画している。

未知の領域

Surrealを支えている技術は、敵対的生成ネットワーク(GAN)と呼ばれる比較的新しい技術だ。機械学習研究者の Ian Goodfellow(イアン・グッドフェロー)氏が2014年に発表したGANは、画像を生成する「ジェネレーター」と、画像が偽物(フェイク)か本物(リアル)かを判別する「ディスクリミネーター」のペアで構成されている。このペアは、ジェネレーターが満足のいく結果を出せるようになるまで、敵対的な役割として訓練を行う。

GANが悪意ある者の手に渡った場合には、詐欺やポルノなどの違法行為に利用される可能性がある。Surrealが個人ユーザーの利用ではなく、エンタープライズでの利用から始めている理由の一部はその点にある。

Surrealのような企業はまた、新たな法的課題を提起している。機械が生成した画像や動画の所有者は誰なのだろう?著作権を侵害しないようにするために、Surrealでは顧客に対して、アップロードするコンテンツに対して権利を持つことを求めている。誤用を追跡し防止するために、Surrealは生成したコンテンツの各部に暗号化された目に見えない透かしを追加し、所有権を主張する。Surreal が作成した「人物」がたまたま実在の人物と一致する可能性もあるため、同社は生成したすべての顔とオンラインで見つけた写真を照合するためのアルゴリズムを実行している。

「倫理問題に対してはSurreal自身が解決することはできないと思っていますが、私たちはこの問題を探求していきたいと思っています」とシュウ氏は語っている。「根本的に、(合成メディアは)ディスラプティブなインフラを提供すると思っています。それは生産性を高めます。生産性がこのような応用にとっての重要な決定要因となっているのですから、マクロレベルでは避けて通ることはできません」。

カテゴリー:人工知能・AI
タグ:SurrealGAN中国機械学習資金調達ディープフェイク

画像クレジット:Surreal

原文へ

(文:Rita Liao、翻訳:sako)

MyHeritageはディープフェイク技で古い家族写真をアニメーションさせる

家系図サービスのMyHeritage(マイヘリテージ)は、本物らしい表情の操作や利用者の個人データ収集に、AI駆動の合成メディアを使い始めている。同社は、Deep Nostalgia(ディープ・ノスタルジア)という新機能をローンチした。人の写真をアップロードすると、アルゴリズムによってその顔をアニメーション化してくれるというものだ。

亡くなって久しい親戚や過去の偉人が合成近似化処理によって生き返り、どうしてこんな役立たずのデジタルフォトフレームの中に閉じ込められているのだと、目を動かし顔を傾ける様子には、ドラマ『ブラック・ミラー』ばりの引きがあるが、昨日(米国時間2月26日)に家族歴に関するカンファレンスで公開されると、当然のことながらソーシャルメディアで拡散された。

Dr Adam Rutherford「甦ったロザリンド・フランクリン」

Nathan Dylan Goodwin「MyHeritageのDeep Nostalgiaで動く曾祖母ルイザ・ロークス(1871〜1942)」

Mike Quackenbush「曾祖母のキャサリン。私が2歳のときに亡くなったがずっと身近に感じてきた。Deep Nostalgiaで祖母が動くのを見て私の目に涙が溢れた。この写真撮影のためにポーズをとっているように見える。すごい!」

このディープフェイク的なMyHeritageのバーチャルマーケティングのシナリオは、難しいものではない。人々の琴線に触れて、個人情報を取得し、有料サービスへの契約につなげようというものだ(同社の主軸事業はDNA検査の販売)。
MyHeritageのサイトではDeep Nostalgiaを無料で試せるが、少なくとも電子メールを1回送り(当然、動かしたい写真を添付して送らないといけない)、利用規約とプライバシーに関するポリシーに同意する必要がある。だがそのどちらも、長年にわたり数々の問題を起こしてきた。

たとえば昨年、ノルウェーの消費者委員会は、国家消費者保護庁とデータ規制当局に対して、MyHeritageの利用規約を法的に審査したところ、同社が消費者に署名を求めている内容が「理解不能」と判断されたことを報告している。

また2018年には、MyHeritageは大量のデータ漏洩を引き起こしている。後に、漏洩したデータは、アカウントのハッキングによって引き出された大量のキャッシュ情報と共に、ダークウェブで売買されていたことも判明している。

今週初めにTechCrunchでもお伝えしたとおり、同社はアメリカの非公開企業に最大6億ドル(約640億円)で買収されようとしているが、個人データの引き渡しと利用規約への同意に不安を抱える人たちを、その故人を懐かしむ気持ちで惹きつけ安心させる狙いがあることは間違いない。

亡くなって久しい故人を不気味の谷に誘い込むよう人々に促し、それをDNA検査の抱き合わせ販売(この手の個人情報を一民間企業の保管に任せることにはプライバシー上の大きな問題をはらんでいるが)に利用するという倫理的な問題はさておき、同社の顔のアニメーション化技術には目を見張るものがある。

私の曾祖母の好奇心に溢れる表情を見るにつけ、これをどう思うだろうかと想像せずにはいられない。

顔のアニメーション機能には、TechCrunch Disruptのバトルフィールドにも参加したイスラエルのD-IDという企業の技術が使われている。この企業はそもそも、顔認証アルゴリズムで個人が特定されないようする保護画像を念頭に、顔のデジタル匿名化技術の開発からスタートしている。

彼らは昨年、写真をアニメーション化する新技術のデモ動画を発表した。この技術は「ドライバービデオ」を使って写真を動かすようになっている。写真の顔の特徴を「ドライバー」、つまりモデルになる顔の動画にマッピングすることで、D-IDがLive Portraite (生きたポートレート)と呼ぶ映像が作り出される。

「Live Portraitソリューションは、静止画に命を吹き込みます。写真はドライバー動画にマッピングすることでアニメーション化され、ドライバー動画の動きに沿って、対象画像の頭の動きや表情が動きます」とD-IDはプレスリリースで説明している。「この技術には、歴史教育機関、博物館、教育プログラムなどで著名な人物をアニメーションさせるといった利用法が考えられます」

同社はLive Portraitを、多目的なAI Face(エーアイ・フェイス)プラットフォームで提供している。第三者がアクセスでき、深層学習、コンピュータービジョン、画像処理などの技術が利用できるというものだ。D-IDではこのプラットフォームを、合成動画制作の「ワンストップ・ショップ」と称している。

その他、動画の中の人物の顔を他人の顔と入れ替える「顔匿名化機能」(ドキュメンタリー制作で内部告発者の身元を隠すときなどに使える)や「トーキングヘッズ」機能などもある。これはリップシンクを行うためのものだが、ギャラが発生する役者の動画を拝借して、口の動きをぴったり合わせて宣伝文句を言わせるといったことも可能になる。

合成メディアが奇妙な時代を招くるのは、避けられそうにない。

関連記事:Sentinelがディープフェイク検出の戦いに約1.4億円を投じる

画像クレジット:Screengrab: Natasha Lomas/TechCrunch

[原文へ]
(文:Natasha Lomas、翻訳:金井哲夫)

口コミで大流行の顔交換ビデオアプリRefaceにa16zなどの有名投資会社が約6億円を出資

Reface(リフェイス)は、ボタンをタップするだけで、自分のセルフィーを不気味なほどリアルな有名人のビデオクリップに変えて有名人気分を味わえるエキサイティングな顔入れ替えビデオアプリだ。そのRefaceがシリコンバレーのベンチャー投資会社Andreessen Horowitz(アンドリーセン・ホロウィッツ、a16z)の目に留まり、a16zは米国時間12月9日、このテック系エンタテイメントスタートアップのために550万ドル(約5億7200万円)を調達するシードラウンドをリードすると発表した。

リフェイスによると、今年1月の創設以来、RefaceアプリはiOS版Android版合わせて7000万ダウンロードを記録しているという。ちなみに、今年8月に同社の共同創業者7人のうちの1人にインタビューしたときは2000万ダウンロードだった。また、米国を含む約100か国中でトップ5に入るアプリとして評価され、Google Playの年間最優秀アプリ賞も獲得している。2020年は同社にとって忘れられない年になった。

このように口コミで急拡散するビデオクリップは、多方面で注目を集めている。リフェイスはシードラウンドのリードとしてa16zの支援を得ているだけでなく、ゲーム、ミュージック、映画・コンテンツ制作、テック業界の著名なエンジェル投資家の多くからも資金を引き出している。

ゲーム業界からは、Supercell(スーパーセル)のCEO Ilkka Paananen(イルッカ・パーナネン)氏、Unity Technologies(ユニティ・テクノロジー)の創業者David Helgason(デイビッド・ヘルガソン)氏がラウンドに参加している。ミュージック業界からは、Scooter Braun(スクーター・ブラウン)氏(TQ Ventures(TQベンチャーズ)のマネージングパートナーで、Justin Bieber(ジャスティン・ビーバー)やAriana Grande(アリアナ・グランデ)などの一流ポップスターのマネージメントでも知られる)とAdam Leber(アダム・リーバー)氏(Britney Spears(ブリトニー・スピアーズ)とMiley Cyrus(マイリー・サイラス)のマネージャーでUber (ウーバー)にも投資している)が参加している。

映画・コンテンツ制作業界から参加したエンジェル投資家として、Matt Stone(マット・ストーン)氏、Trey Parker(トレイ・パーカー)氏、Peter Serafinowicz(ピーター・セラフィノヴィッツ)氏(以上3名はDeep Voodoo(ディープ・ブードゥー)経由)、K5 Global(クライアントにBruce Willis(ブルース・ウィルス)、Jesse Eisenberg(ジェシー・アイゼンバーグ)、Eric Stonestreet(エリック・ストーンストリート)がいる)の創業者であるBryan Baum(ブライアン・バウム)氏とMichael Kives(マイケル・カイブス)氏、およびモデル、女優で慈善家でもあるNatalia Vodianova(ナタリア・ヴォディアノヴァ)氏がいる。

また、テック業界からは、Josh Elman(ジョッシュ・エルマン)氏(Greylock (グレーロック)の前投資パートナーで、Medium、Operator、Musical.ly、Jellyの取締役)とSriram Krishnan(シュリラーム・クリシュナン)氏(投資家でマイクロソフト、フェイスブック、スナップ、ツイッターの前製品開発リーダー)といったのエンジェル投資家が参加している。

これはまさに、ノーコードやバイラルソーシャルビデオなどのホットなトレンドが広まるときに業界を超えて発生する、あの熱狂的な反応だ(少なくとも、ノーコードの定義をRefaceのプッシュボタンにまで拡大するなら、Refaceはプロ仕様コンテンツ制作用AIツールと言えるだろう。ノーコードという用語は通常、アプリ構築を単純化するB2Bツールを指すが、どちらにも共通しているのはプログラマ以外の人間でも簡単に使える高い利便性である)。

アーリーステージの支援者に上記のようなそうそうたる面々を揃えたリフェイスのウクライナ人創業者たちは、ディープテックが、諦めずに追究する価値のある分野であることを証明している。今年の夏に書いた記事で取り上げたように、リフェイスの創業者のうち3人は、ほぼ10年前に共同作業を始め、大学卒業後すぐに機械学習の才能に磨きをかけていった。彼らの不屈の精神は今、確実に実を結びつつある。

アンドリーセン・ホロウィッツのConnie Chan(コニー・チャン)氏は今回の出資を発表する声明の中で次のように述べている。「リフェイスは非常に洗練された機械学習テクノロジーを、気構えることなく使え、友人とシェアして楽しめるコンシューマーエクスペリエンスという形に作り変えた」。

「彼らのコア・テクノロジーは、コンシューマー、エンタテイメント、マーケティングなど、広範なエクスペリエンスに応用できる潜在力を備えており、Refaceアプリはその発端にすぎない。リフェイスのチームは、そうした未来を形成できる創造性と専門知識を兼ね備えている」と同氏は付け加えた。

「リフェイスは、映画、スポーツ、ミュージックビデオ、その他人々が熱狂するさまざまな分野のゲーミフィケーション(参加者の意欲をかき立てるためにゲームの手法を応用すること)を実現する次世代のパーソナライゼーションプラットフォームとなる潜在性を備えていると確信している。リフェイスが成長し、人々がお気に入りのコンテンツを通して、アーティストとつながったり、お互いにアクティブな個人的つながりを形成したりできるコミュニティへと発展することを期待している」。

リフェイスの共同創業者Denys Dmytrenko(デニス・ドミトレンコ)氏、Oles Petriv(オレス・ペトリブ)氏、Ivan Altsybieiev(イワン・アルツィービーイエブ)氏、Roman Mogylnyi(ローマン・モジリニ)氏、Yaroslav Boiko(ヤロスラブ・ボイコ)氏、Dima Shvets(ディマ・シュベッツ)氏、Kyrylo Syhyda(キリオ・シャイダ)氏(画像クレジット:Reface)

リフェイスは、今回のシードファンドで成長の波に乗れると考えている。Reface自体の偽物を検出できるツールを開発する取り組みも進んでいる。このツールの目的はRefaceアプリのテクノロジーが乱用されるリスクを軽減することだ。

今年始め、リフェイスはこの検出ツールは秋までには完成すると言っていたので、予定より少し時間がかかっているのは明らかだ。しかし、有名人ビデオの顔入れ替えで成長を実現したことで、優先順位が少し変わったことも理解できる。

秋に予定されていた、顔交換を使ったUGC(ユーザー生成コンテンツ)ビデオサイトの立ち上げもまだ完全には実現していない。

制作価値の高い有名人ビデオクリップを作成および共有することで現在発展しているコミュニティには、自分の顔と弟や祖父母の体と組み合わせることが自由にできるといったものとはまったく違った種類の「不気味なリアリティ」があるように思える(顔交換前の写真の品質管理を行わなければ広範なリスクが発生することは言うまでもない)。したがって、時間をかけてしっかりとした管理体制を築くことはビジネス的に大きな意味がある。また、コンテンツパートナーを満足させて、新しい有名人コンテンツでこのブームに拍車をかけることに注力することも重要だ。

リフェイスによると、UGCビデオサイトの立ち上げが遅れてはいるが、ユーザーは現時点でもGIFをダウンロードできるので、「部分的には立ち上がっていると言える」という。「今はまだ、コンテンツの乱用を防止するために、検出システム、モデレーション、ユーザーとのやり取りについてテストと改良を行っているベータ段階だ。ビデオについては、当社に直接コンテンツを提供してくれるたくさんのクリエイターたちがいる。このようにして、UGCの仕組みをすべてテストできる。第1四半期の終わりまでにはUGCオプションを公開する予定だ」と同社は述べている。

開発中の検出ツールについては、UGCと並行してリリースする予定だという。

「現在、検出のクオリティを最大限にするためモデルをトレーニングしている」最中で、2021年の4月には完成させたいとしている。

リフェイスにとっての最大の野心は、「パーソナライズされたコンテンツの最大プラットフォーム」を構築し、コンテンツ所有者および有名人とパートナー関係を築いて、人が思わず振り向くような「創造的なデジタルマーケティングソリューション」を提供して収益を上げることだ。

このパンデミックで面白いソーシャルコンテンツを使ってくれるユーザーがほぼ自宅監禁状態になっていることは、このミッションの実現を大いに後押ししている。同時に、Snapのようなソーシャルメディアのライバル企業も業績を伸ばしている。

今年は自宅でスマホをいじりながら退屈している子どもがたくさんいるため、ソーシャルメディア業界全体で成長の機会が生まれている(a16zは、リフェイスの他にも、オーディオベースのソーシャルネットワークClubhouse(クラブハウス)、子ども向けのソーシャルゲーミングプラットフォームRoblox (ロブロックス)など、多数のソーシャルメディア企業に出資している)。

2020年8月、リフェイスは口コミで急成長を遂げ、米国のAppStoreで1位に輝いた。一時的にではあるが、TikTokとInstagramを凌ぐ勢いだ。Justin Bieber(ジャスティン・ビーバー)、Snoop Dogg(スヌープ・ドッグ)Britney Spears(ブリトニー・スピアーズ)Joe Rogan(ジョー・ローガン)、Chris Brown(クリス・ブラウン) Miley Cyrus(マイリー・サイラス)、Dua Lipa(デュア・リパ)などの有名人が今年、自分たちの顔がRefaceで加工されたビデオをソーシャルメディアでシェアしていることも注目に値する。

今年、リフェイスはBieber(ビーバー)、Cyrus(サイラス)、John Legend(ジョン・レジェンド)などのエンタテイメント業界の有名人とパートナー契約を結んで新しいビデオの制作を促すと同時に、Amazon Prime(アマゾン・プライム)とも提携してプレミア作品『ボラット』も宣伝しており、数百万を超えるシェアおよびリフェイスを獲得している。

「アンドリーセン・ホロウィッツから出資を受けたことで、当社は現在の成長を加速させ、チームを新しい人材で強化し、テクノロジーを改良していくことができる。また、当社のAIテクノロジーの責任ある利用を保証するため、偽ビデオ検出ツールの開発も継続していく」と共同創業者のデニス・デミトレンコ氏は付け加えた。

関連記事:Sentinelがディープフェイク検出の戦いに約1.4億円を投じる

カテゴリー:ソフトウェア
タグ:資金調達 a16z

[原文へ]

(翻訳:Dragonfly)

Sentinel、ディープフェイク検出の戦いに約1憶4000万円を投じる

合成メディア(すなわちディープフェイク)を特定するための検出プラットフォームを開発している、エストニア拠点のSentinel(センチネル)は、Skype(スカイプ)のJaan Tallinn(ヤーン・タリン)氏、TransferWise(トランスファーワイズ)のTaavet Hinrikus(ターヴェット・ヒンリクス)氏、Pipedrive(パイプドライブ)のRagnar Sass(ラグナー・サス)氏とMartin Henk(マーティン・ヘンク)氏をはじめとするベテランのエンジェル投資家たちや、エストニアに拠点を置くアーリーステージ向けベンチャーキャピタルUnited Angels VC(ユナイテッドエンジェルズVC)から135万ドル(約1億4000万円)の資金調達をするシードラウンドを終了した。

ディープフェイクを検出するためのツールを作り上げるという挑戦は、軍拡競争に例えられてきた。最近では、大手IT企業Microsoft(マイクロソフト)がこれに取り組んでおり、11月のアメリカ大統領選挙をターゲットにした虚偽情報を見つけ出すための検出ツールを今月初めに発表した。 マイクロソフトは「学習し続けることができるAIによって(ディープフェイクが)生成されるということはつまり、ディープフェイクが従来の検出技術を打ち負かすことは避けられないということだ」と警告した後、それでも「高度な検出技術」を使って悪質なでっちあげをあばこうとすることに短期的な価値はある、としている。

センチネルの共同創設者であり最高経営責任者(CEO)のJohannes Tammekänd(ヨハネス・タメケン)氏はこの軍拡競争という捉え方に賛同している。そのため、この「着地点が定まらない」問題に対する同社のアプローチには、サイバーセキュリティのスタイル テンプレートに従って、複数層の防御の提供が必要となる。一方、タメケン氏が競合ツールとして挙げたマイク ロソフトの検出ツールと、もうひとつのライバル会社Deeptrace(ディープトレース)、別名Sensity(センシティ)は、彼によれば「欠陥を検出しようとするとても複雑なニューラル ネットワーク」にただ頼っているだけだ、という。

タメケン氏はTechCrunch(テッククランチ)にこう語る。「我々のアプローチは、たった1つの検出方法だけですべてのディープフェイクを検出することは不可能だ、という考えだ。我々には複数層の防御があるため、1つの層が破られても次の層で攻撃者が検出される可能性が高い。」

タメケン氏によると、センチネルのプラットフォームは現在のところ、4層のディープフェイク防御を提供している。第1の層は、出回っているディープフェイクの既知の例をハッシュして照合する。(これは「ソーシャル メディアプラットフォーム」のレベルまで拡張可能だと同氏は言う。)第2の層は、細工を見つけるため機械学習モデルでメタデータを解析する。第3の層は、オーディオの変化をチェックして合成音声などを探す。そして最後の層は、視覚操作の形跡がないか調べるために「1コマごとに」顔を分析する技術を使う。

「最高レベルの確実性を得るために、この検出層すべてから入力データを受け取り、 出力データを(総合スコアとして)合わせて確定する」という。

タメケン氏は加えて、「ある動画がディープフェイクであるかそうでないかを、100% の自信をもって言えない場合もある、という状況まですでに来ている。その動画をなんとかして『暗号で』証明できれば、もしくは複数の角度からの元の動画などを誰かが持っていれば別だが」と述べた。

またタメケン氏は、ディープフェイク軍拡競争においては特定の技術に加えてデータも重要である、と強調している。センチネルがこの点に関して誇れることは、出回っているディープフェイクの「最大の」データベースを蓄積していることだ。このデータを使ってディープフェイクのアルゴリズムを学習させることができる。

同社は社内検証チームを設置しており、メディアの真実性を探るための独自の検出システムを利用したデータ取得に取り組む。3人の検証スペシャリストがおり、最も精巧で自然なディープフェイクを検証するためには、その3人のすべてが同意しなければならない。

「我々は大手ソーシャルプラットフォームのすべてから、毎日ディープフェイクをダウンロードしている。YouTube(ユーチューブ)、Facebook(フェイスブック)、 Instagram(インスタグラム)、 TikTok(ティックトック)、さらにアジアやロシアのプラットフォーム、そしてアダルトサイトからも」とタメケン氏は述べる。

「もし、例えばフェイスブックのデータセットを基にディープフェイク モデルを学習させた場合、それが一般化することはない。それ自身と似たようなディープフェイクを検出することはできても、出回っているディープフェイクと合わせてうまく一般化することはできない。 だから検出は本当に80パーセントがデータエンジンなのだ。」

センチネルが常に確信を持っているわけではない。タメケン氏は、中国の国営メディアによって公開された、軍に殺されたとされている詩人の短い動画を例に挙げている。この動画の中で詩人は、自分は健在であると言い、心配しないよう伝えているように見える。

「画像処理はされていないということを、われわれのアルゴリズムはかなり高い確実性をもって示しており、この人物がただ洗脳されているだけという可能性が非常に高いが、100パーセントの自信を持ってこの動画はディープフェイクでない、ということはできない」と同氏は述べている。

NATO(北大西洋条約機構)、Monese(モネーゼ)、イギリス海軍の出身者で構成されるセンチネルの創業者たちは、実のところ2018年にSidekik(サイドキック)というスタートアップ企業で、とても珍しいアイディアに取り組み始めた。通信データを取り込んで、音声を似せたチャットボット(またはオーディオボット)の形で、ある個人の「デジタルクローン」を作るという、『Black Mirror(ブラック・ミラー)』シリーズのような技術を構築するというものだ。

ベーシックな管理型タスクをこの仮想の代役に任せることができたらいいのではないか、という発想だった。 しかし彼らはこれを悪用される可能性について懸念するようになった。それゆえにディープフェイク検出に転換した、とタメケン氏は言う。

彼らは自分たちの技術を政府機関や国際メディア、防衛機関向けにと考えている。今年の第2四半期にサブスクリプションサービスを開始してからの、欧州連合対外行動局やエストニア政府を含む初期のクライアントも存在する。

彼らは、虚偽情報を広める活動やその他の悪質な情報操作から民主主義を守る助けになることを目指している。つまり、彼らの技術に誰がアクセスできるかということに関して、細心の注意を払っているということだ。タメケン氏は述べる。「われわれは非常に厳しい審査プロセスを備えている。例えば、われわれはNATO加盟国とのみ連携する。」

それから「サウジアラビアや中国からの要望はあるが、我々の側からすると明らかにNGだ」と加えた。

このスタートアップ企業が実施した最近の調査で、出回っている(すなわち、オンラインでどこでも見つけられる)ディープフェイクが急増していることがわかっている。2020年にはこれまでに14万5000件を超える事例が確認されており、前年比の9倍を示している。

ディープフェイクを作成するツールは間違いなく入手しやすくなっている。顔交換アプリのReface(リフェイス)のようなものなど、多くは表面上害のない、楽しみやエンターテイメントの提供を目的とするものであるが、(ディープフェイク検出システムなどで)慎重に管理しなければ、何の疑いも抱いていない視聴者をだますために、利用可能な合成コンテンツが悪用される可能性がある。

現在ソーシャルメディアプラットフォームで行われているメディア交換のレベルまでディープフェイク検出技術をスケールアップすることは、とても大きな課題である、とタメケン氏は述べる。

「フェイスブックやGoogle(グーグル)は(自分たちのディープフェイク検出を)スケールアップすることが可能だろうが、現在のところかなりのコストがかかるため、多額の資金を投入しなければならず、収益は明らかに激減するだろう。よって、基本的にトリプルスタンダードだ。ビジネスインセンティブは何なのか、という話になる」と同氏は言う。

非常に知識があり、非常に豊富な資金を持つ相手によってもたらされるリスクもある。彼らは「ディープフェイク・ゼロデイ」と呼ぶものを標的にした攻撃をする(おそらく国家主体で、非常に高価値のターゲットを追っているようだ)。

「基本的にサイバーセキュリティにおける場合と同じことだ」とタメケン氏は言う。「ビジネスインセンティブが適切であるならば、基本的には[大多数の]ディープフェイクを押さえることができる。できるはずだ。しかし、知識のある相手によってゼロデイとして開発される可能性のあるディープフェイクは常に存在するだろう。そして、現在のところ、誰もそれらを検出する素晴らしい方法、あるいは例えば、検出する方法へのアプローチを知らない。

「唯一既知の方法は多層防御だ。その防御層のいずれかがディープフェイクを検知することを願っている」。

センチネルの共同創業者、Kaspar Peterson(カスパー・ピーターソン)氏(左)とヨハネス・タメケン氏(右)。写真提供者:センチネル

 

あらゆるインターネットユーザーにとって、もっともらしいフェイクを作って拡散することは確実に安価で容易になってきており、ディープフェイクによってもたらされるリスクが政治的・企業的な議題を盛り上げている。 例えば欧州連合は、虚偽情報の脅威に対応するために「民主主義行動計画」を用意している。その中でセンチネルは、自社のディープフェイクデータセットから得た知識をもとに、ディープフェイク検出だけでなく、個別対応のコンサルティングサービスも扱う企業として自らを位置づけている。

「われわれには多くの成果がある。つまり『ブラックボックス』だけでなく、予測・説明可能性やバイアスを軽減するためのトレーニングデータの統計、すでに既知のディープフェイクとの照合、コンサルティングを通したクライアントへの脅威モデリングも提供できるということだ」と同社は語る。「このような重要な要素があるからこそ、これまでのところクライアントに我々を選んでいただいている。」

ディープフェイクが西洋社会にもたらす最大のリスクは何だと思うか、という問いに対し、短期的には、主な懸念は選挙干渉だ、とタメケン氏は答えた。

「1つの可能性としてはこんなものがある。選挙運動期間中、あるいは選挙当日の1日か2日前、Joe Biden(ジョー・バイデン)氏が『私は癌です。私に投票しないでください』と言ったらどうだろう。その動画が拡散したら」彼は極めて近い未来のリスクを描いて示す。

「そういった技術はもうすぐそこにある」と同氏は続ける。一般向けディープフェイクアプリの1つに関わるデータサイエンティストと近ごろ電話で話したところ、正にそのようなリスクを心配するさまざまなセキュリティー組織からコンタクトがきている、と言っていたそうだ。

「技術的な観点からすると、うまくやられてしまうだろうことは確実だ。そしてそれが拡散されれば、人々にとっては直接見たほうがより効果的、ということになる。すでに大きな影響をもたらしている『安っぽいフェイク』を見たとして、ディープフェイクは完璧である必要はなく、実際、背景がきちんとしている中で信用できればいいのだ。そうすると、多くの有権者がそれに騙される可能性がある」と語った。

長期的には、このリスクは非常に大きなものだと同氏は主張する。人々はデジタルメディアに対する信用を失くす。そういうことだ。

「動画に限ったことではない。画像ということもあるし、音声ということもある。実際、すでにそれらを融合させたものも出てきている」と同氏述べる。「そんな風に、すべての事象を実際に偽造できる。ソーシャルメディアやさまざまな表現活動の場すべてにおいて見ることができる事象を。

「だから我々は検証されたデジタルメディアだけを信じることになるだろう。基本的に、なんらかの検証手法を備えているものだ。」

さらにいっそう反ユートピア的な、AIに歪められた別の未来では、人々はもうオンライン上の何が現実かそうでないかを気にも止めなくなるなるだろう。何であれ彼らの先入観に付け込む、操作されたメディアをただ信じるだけだろう。(オンライン上に投稿されたちょっとした言葉の暗示をかけられて、奇妙な陰謀にはまった人が多くいることを考えると、この上なく可能性があるように思える。)

「 そのうちみな気にしなくなる。それは非常に危険な前提だ」タメケン氏は言う。「ディープフェイクの『核爆弾』はどこにあるのか、ということが大いに議論されている。ある政治家のディープフェイクが現れ、それが大きな被害を及ぼすのは、単なる時間の問題だとしよう。しかし、そのことは現在の最大の組織的リスクとは考えられない。

「最大の組織的リスクは、歴史という観点から見た時に、それまでより安価で容易に情報が生産され、素早く共有されるようになってきている、そういうことが起こっているということだ。グーテンベルクの印刷機から、テレビ、ラジオ、ソーシャルメディア、インターネット、すべてそうだ。我々がインターネットで消費する情報は別の人間によって生産される必要はない、ということが今起こっている。そしてアルゴリズムのおかげで、大規模に、しかも超パーソナライズされた方法で、情報を2つの時間尺度で消費することができる。つまりそれが最大の組織的リスクだ。我々はオンライン上の何が現実なのか、基本的には理解できなくなるだろう。何が人間で、何が人間ではないのか。」

そういったシナリオによって予想される先行きは多種多様だ。極端な社会的分断によって、さらなる混乱と無秩序を招き、拡大する無政府状態や激しい個人主義を生み出す。あるいは、広い範囲の主流派の人々がオンラインコンテンツの多くを無意味だとして、あっさりインターネットの情報に耳を傾けなくなった場合、大衆は興味を失くす。

そこから事態は1周して元に戻る可能性さえある。人々が「再び信頼度の高い情報源を読む」ようになる。タメケン氏はそう述べた。しかし、多くが変化していく危機にさらされる中、1つだけ確かなものがあるようだ。これまで以上に無節操で疑わしいメディアの世界をナビゲートする手助けをしてくれる、高性能なデータ駆動型のツール。これが求められるようになるだろう。

この記事はTechCrunchのSteve O’Hear(スティーブ・オヘア)の協力による。

関連記事:マイクロソフトが米大統領選挙を前にディープフェイク検出ツールVideo Authenticatorを発表

カテゴリー:人工知能・AI

タグ:ディープフェイク

[原文へ]

(翻訳:Dragonfly)

マイクロソフトが米大統領選挙を前にディープフェイク検出ツールVideo Authenticatorを発表

Microsoft(マイクロソフト)は、動画や静止画を分析して操作スコアを生成するツールの提供を発表した。これは、合成されたメディア、いわゆるディープフェイクを発見することを目的とした技術の1つになる。具体的には、メディアが人為的に操作されたことを示す「確率、または信頼度スコア」をVideo Authenticatorと呼ばれるツールが提供する。

Video Authenticatorのブログ記事には「ビデオの場合、ビデオが再生されるたびに、フレームごとにリアルタイムでこのパーセンテージを提供することができます」とある。「これは、人間の目では検出できないかもしれないディープフェイクや微妙な色あせ、グレースケールの要素のブレンド境界を検出することによって動作します」とのこと。

もしオンラインコンテンツの一部が本物に見えても「なんとなく間違った雰囲気がする」場合、それは本物であるかのように見せようとする、高度な技術を使った合成である可能性がある。おそらく人々に誤解を与えようとする悪意の意図があるのだ。ディープフェイクの多くは、面白いとか面白いとかいうまったく異なる意図で作成されている(未訳記事)が、文脈から外れるとこのような合成メディアは、拡散するにつれてそれ自体が独立した存在になることがあり、疑っていない視聴者を騙すことにもなりかねない。

AI技術はリアルなディープフェイクを生成するために使われているが、技術を使用して視覚的な虚偽の情報を見極めるのはまだ難しい問題だ。ハイテクな大嘘を見分けるための最良のツールは、人間の批判的な思考力であることに変わりはない。にもかかわらず、マイクロソフトが提供した今回の最新ツールを含み、技術者はディープフェイク発見器の開発に取り組み続けている。

ブログの記事は「この技術は、AIを駆使した偽情報の軍拡競争において一応の実用性しか提供しないかもしれないと警告している。ディープフェイクが学習し続けることができるAIによって生成されるという事実は、彼らが従来の検出技術を打ち負かすことは避けられない。しかし、次の米国大統領選挙のような短期的に目の肥えたユーザーがディープフェイクを識別するのに役立つツールとして、高度な検知技術が利用される可能性があります」と書いている。

今年の夏、Facebookがディープフェイク検出器を開発するために開始したコンテストでは推測よりも優れた結果が得られた(未訳記事)。なお、このコンテストでは、研究者が事前にアクセスしていなかったデータセットの場合に限られた、少し制限された環境だった。

一方マイクロソフトのVideo Authenticatorツールは、Face Forensic++の公開データセット(合成された顔画像の検出の学習データ)を使用して作成され、DeepFake Detection Challenge Datasetでテストされたことを明らかにしている。同社によると「これらはディープフェイク検出技術のトレーニングとテストのための両方の主要モデル」とのこと。

このツールは、サンフランシスコを拠点とするAI Foundationと提携しており、今年中に報道機関や政治キャンペーンなど、民主的なプロセスに関与する組織が利用できるようになる。「Video Authenticator は当初、RD2020(Reality Defender 2020)を通じてのみ利用可能となり、あらゆるディープフェイク検出テクノロジーに内在する限界と倫理的配慮を通じて組織をガイドします。詳細について知りたいキャンペーンやジャーナリストの方は、こちらのRD2020にお問い合わせください」と同社は付け加えている。

このツールは、マイクロソフトの研究開発部門であるMicrosoft Research(マイクロソフトリサーチ)が、AIチームと、AIに関する社内の諮問機関である工学・研究委員会の倫理・効果委員会が協力・開発したもので、偽情報による脅威から民主主義を守ることを目的としたマイクロソフトの幅広いプログラムの一部だ。

同社は「合成メディアを生成する方法は、今後も高度化していくと予想されます」と続ける。「すべてのAI検出方法には失敗率があるため、検出方法をすり抜けたディープフェイクを理解して対応できるようにしておく必要があります。従って長期的には、ニュース記事やその他メディアの信憑性を維持し、認証するためのより強力な方法を模索しなければなりません。オンラインで見ているメディアが信頼できるソースから来たものであり、改ざんされていないことを読者に保証するのに役立つツールは、現在のところほとんどありません」とのこと。

後者の対策、つまり改ざんされていないことを読者に保証するツールとしてマイクロソフトは、コンテンツ制作者がデジタルハッシュと証明書をメディアに追加できるようにするシステムも発表した。これは、コンテンツがオンライン上を移動する際にメタデータに残るメディアにデジタルハッシュと証明書を追加し、真正性の基準点を提供するものだ。

このシステムの2つ目のコンポーネントは、ブラウザの拡張機能として導入可能なリーダーツールで、証明書をチェックしたり、ハッシュを照合したりすることで、マイクロソフトが言うところの「高い精度」で、特定のコンテンツが本物であるか、変更されていないかを視聴者に提供するものになる。またこの証明書は、誰がメディアを制作したのかについての詳細を読者に提供する。

マイクロソフトは、このデジタル透かし認証システムが、英国の公的放送局であるBBCが昨年発表したTrusted News Initiativeの下支えになることを期待している。

このプロジェクトは、BBC、CBC、ラジオカナダ、マイクロソフト、ニューヨーク・タイムズの連合体が主導しているもので、デジタル透かし技術を広く採用できる標準に発展させることを目的にした団体であるProject Origin(プロジェクト・オリジン)でテストされるという。

「さまさまな出版社やソーシャルメディア企業が参加するTrusted News Initiativeも、この技術に参加することに同意しています。今後数カ月の間に、この分野での作業をさらに多くのテクノロジー企業、ニュース出版社、ソーシャルメディア企業に広げていきたいと考えています」とマイクロソフトは説明する。

ディープフェイクを識別する技術の作業が続く一方で、同社のブログ記事はメディアリテラシーの重要性を強調している。ワシントン大学、Sensity(センシティ)、USAトゥデイとのパートナーシップは、米国の選挙を前に批判的思考を高めることを目的としている。

またこのパートナーシップは、「合成メディアについて学び、批判的なメディアリテラシーのスキルを身につけ、合成メディアが民主主義に与える影響についての認識を得る」ために、米国の有権者を対象とした「Spot the Deepfake Quiz」を開始した。

同社にブログ記事によると、このインタラクティブなクイズは、USAトゥデイ、マイクロソフト、ワシントン大学が所有するウェブとソーシャルメディアのプロパティに配信され、ソーシャルメディアの広告を通じて配信される予定だという。また、テック系の巨大企業であるマイクロソフトは、米国で行われている公共サービス発表(PSA)キャンペーンを支援していることにも言及しており、選挙前にソーシャルメディアで情報を共有したり、宣伝したりする前に、「反射的な小休止」を取り、評判の良い報道機関からの情報であることを確認するよう人々に呼びかけている。

「PSAキャンペーンは、人々がより良い誤報や誤報が私たちの民主主義に持っている害を理解し、信頼性の高い情報を識別し、共有し、消費する時間を取ることの重要性を支援します。広告は、9月と10月に米国内のラジオ局を横断して実行されます」と付け加えた。

画像クジレット:Microsoft

原文へ

(翻訳:TechCrunch Japan)

Facebookの判別コンペはディープフェイク抑止に有望な第一歩

深層学習を利用して生成されたフェイク動画であるディープフェイクはますます勢いを増しており、巨大プラットフォームをもつサービスは、ディープフェイクをいち早く見抜く必要に迫られている。

これがFacebookがディープフェイクを見抜くコンテスト、Deepfake Detection Challengeを昨年スタートさせた理由だ。数カ月のコンペを経て優勝者が決定された。その結果はといえば、完全というには遠い。しかし当てずっぽうよりはましだ。ともかく我々はどこからか始めねばならない。

登場したのはここ1、2年だが、ディープフェイクはAIカンファレンスのデモ用のニッチなおもちゃから、政治家やセレブのフェイクビデオを誰でも作れるソフトに進化した。そうしたフェイクビデオは本物と見分けがつけにくく、制作するソフトは誰でもイ簡単にダウンロードできる。

FacebookのCTO(最高技術責任者)であるMike Schroepfer(マイク・シュロープファー)氏はこのコンペについての電話記者会見でこう述べた。「クリックするだけでダウンロードでき、Windowsマシンで動くディープフェイク生成ソフトを私は手に入れている。本物と判別する方法はない」。

今年は米国大統領選挙がある。悪事を企む連中がディープフェイクを使って候補者に言ってもいなないことをしゃべらせ、有権者を誤った方向に誘導しようとする最初の大統領選になるに違いない。このところ一部から非難を浴びているFacebookとしてはディープフェイク対策は極めて重要だ。

去年このコンテストがスタートしたとき、ディープフェイク動画のデータベースも登場した。従来は研究者が利用できるディープフェイクの大型データベースがなかった。ある程度のサイズの偽動画のコレクションはいくつかあったが、このデータベースのようにコンピュータビジョンのアルゴリズムを改良するのに役立つような本格的なデータセットはまったく存在しなかった。

Facebookは3500人の俳優にギャラを払って数千のビデオを製作した。それぞれオリジナル版とディープフェイク版が用意された。ディープフェイク以外にも「雑音」として他の手法による改変も行われた。これはアルゴリズムに偽物を見破ろうために決定的な部分、つまり顔にに注意を集中させようとするためだった。

Facebookのコンペには世界中の研究者が参加し、ビデオがディープフェイクかどうかを 判断するシステムが何千も提案された。下に6種類のビデオをエンベッドしたが、そのうち3つはディープフェイクだ。どれがそうなのか読者は判別できるだろうか(正解は記事末)?

画像:Facebook

こうしたアルゴリズムの精度は当初は偶然より高くなかった。しかし繰り返巧妙なチューニングを施した結果、フェイクを識別する精度が80%以上に達するまでに改善された。残念ながら、システムの製作者に予め提供されていなかったディープフェイク動画でテストした結果は最高で65%程度にとどまった。

つまりコインを弾いて裏表で判断するよりはましだが、その差はあまり大きくはない。 しかしこれは最初から予期されていたことであり、今後の改良を考えれば非常に有望な結果といってよい。人工知能の研究で最も難しいのは、ゼロから何かを生み出す部分だ。その後は猛烈なスピードで改良が進む。ともあれAIで生成されたディープフェイクを判別するという課題がAI自身によって解決可能だということが判明しただけで大きなだ一歩だ。これが実証できた点がFacebookのコンペの最大の成果だろう。

オリジナルと各種の改変を受けたビデオの例(画像: Facebook)

重要な注意点は、Facebookが生成したディープフェイクのセットは単にサイズが大きいだけではなく、さまざまな手法を包括的し、ディープフェイクの最前線を代表するようなものになるよう意図されている点だ。

結局のところ、AIの有効性は入力されるデータ次第だ。AIシステムのバイアスはデータセットのバイアスが原因であることが多い。

シュロープファーCTOは「もしAIのトレーニングセットに現実の人々が遭遇するディープフェイクを代表するようなバリエーションを持っていなければ生成されたモデルも現実のディープフェイクを充分に理解できない。われわれが苦心したのはこのデータセットができるかぎり代表的なものであるようにすることだった」と述べている。

私はシュロープファー氏に「ディープフェイクを判別しにくい顔や状況のタイプがあるか?」と質問したが、この点ははっきりしなかった。この点に関するチームからのコメントは以下のとおりだ。

このチャレンジで利用するためのデータセットを製作するにあたっては自称する年齢、性別、民族等、多数の要因を考慮した。判別テクノロジーはどんな対象であっても有効に機能する必要があるため、データが代表的な例を網羅することが重要だった。

業界の競争を促すため、コンペで優勝したAIモデルはオープンソース化される。Facebook自身も独自のディープフェイク検出システムの構築に取り組んでいるが、シュロープファー氏によれば、これは公開されないだろうという。マルウェア対策同様、この問題は本質的に敵対的だ。「悪い連中」は対策者のシステムから学び、自分たちのアプローチを改良する。つまり何をしているかすべて公開することはディープフェイクを抑止するために逆効果となる可能性がある。

(ディープフェイク画像判定問題の正解:1、4、6は本物。2、3、5がディープフェイク)

画像:Facebook

【Japan編集部追記】上のビデオはダートマス大学で開催されたディープフェイクとメディアについてのフォーラム。右端がTechCruchのDevin Coldeway記者。ビデオでは俳優がオバマ大統領ビデオに合わせてアフレコで別のことを言わせるビデオが紹介されている。

原文へ

(翻訳:滑川海彦@Facebook

ディープフェイクテキストが国家の危機を増幅する

編集部注:本稿はJinyan Zang氏、Latanya Sweeney氏、Max Weiss氏による寄稿記事である。Zang氏はハーバード大学のData Privacy Labの研究者、Sweeney氏はハーバード大学で「政府とテクノロジー」を専門にする教授、Weiss氏は今回のディープフェイクテキスト実験を実施したハーバード大学の学生だ。

—–

米国の連邦政府機関は国内における新型コロナウイルスのパンデミック拡大を阻止しようとさまざまな措置を講じており、その厳しさは増すばかりだ。連邦政府により策定される規則の影響を受ける米国民と企業は、自分たちの意見や経験をどのように政府に伝えることができるのだろうか。移動の制限監視の強化などをはじめとする新たな規則の多くは、施行に際して連邦政府の権限を平時よりも拡大する必要がある。このような場合、米国の法律では、連邦政府が規則案を一般に公開し、国民がオンラインで意見を投稿できるようにすることが義務付けられている。しかし、米国の民主主義にとって不可欠な仕組みである連邦政府のパブリックコメントウェブサイトは、今回のような危機に際して安全に機能するのだろうか。ボットによる攻撃に対して脆弱ではないだろうか。

2019年12月、筆者らは、自動化された攻撃に対するパブリックコメントプロセスの脆弱性に関する実調査についてまとめた新しい研究論文を発表した。この調査では、誰でも利用できる人工知能を使用してディープフェイクテキスト(コンピュータが深層学習により人間の発言を模倣して生成するテキスト)によるコメントを1001件生成し、それを実際にアイダホ州のメディケイド被保険者に就業状況報告を義務付ける連邦規則案に関するパブリックコメントを募集するためにCenters for Medicare & Medicaid Services(メディケア・メディケイド・サービス・センター、CMS)が開設したウェブサイトに投稿するという実験を行った。

ディープフェイクテキストを使用して作成したコメントは連邦パブリックコメント期間中に投稿されたコメント総数1810件の55%以上を占めた。筆者らは、その後の追跡調査で、これらのコメントがボットによるものだと思うか、実際に人が書いたものだと思うかを尋ねるアンケートを実施した。回答者の正答率は50%、当てずっぽうで答えたときの確率と同じだった。

Image Credits: Zang/Weiss/Sweeney

上記はボットによって生成されたディープフェイクテキストの例だ。アンケート回答者全員がこのテキストは人が書いたものと判断した。

筆者らは実験終了後、ディープフェイクコメントを投稿したことをCMSに通知し、それらのコメントを投稿履歴から削除したが、悪意のある攻撃者がそれと同じことをするとは思えない。

連邦ウェブサイトに対する大規模なフェイクコメント攻撃は過去にもあった。例えば、2017年、ネット中立性規制を撤廃する規則案について、連邦通信委員会(FCC)のウェブサイトに対してフェイクコメント攻撃が行われたことがある。

ネット中立性規則に関するパブリックコメント期間中、通信業界団体のBroadband for America(ブロードバンド・フォー・アメリカ)に雇われた複数の企業が、ボットを利用してネット中立性規則の撤廃を支持するコメントを作成したのだ。こうして投稿された数百万件のコメント(中にはすでに亡くなっている有権者や架空の人物になりすましたものもあった)によって、世論がねじ曲げられたのである。

ネット中立性に関するコメントを事後にテキスト解析したみたところ、FCCのネット中立性撤廃案に対する2200万件を超えるコメントのうち実に96~97%がボットを使ったコメント操作だった可能性が高いことがわかった。このコメント操作では比較的単純で目立つ検索・置換方式が使われていたため、FCCのように膨大な数のコメントが投稿された場合でも容易に検出できたはずだ。しかし、調査の結果、簡単な検索・置換方式で作成された不正なコメントであることが判明した後も、FCCはそれらのコメントを正当なパブリックコメントとして受理していた。

このように、比較的単純な方法でも連邦政府の政策決定に影響を与えることができたという前例がある。しかし、ボットによるディープフェイクテキスト投稿がもたらす脅威について筆者らが行った実験から、今後の攻撃はより高度で検出困難になる可能性が明らかになった。

パブリックコメントに関する法律と政策

はっきりさせておこう。自分たちの要求を伝えそれを検討してもらうことができる仕組みは民主主義モデルの根幹である。憲法に明記され、人権擁護団体によって厳密に保護されているとおり、すべての米国民は、投票、自己表現、異議申し立てなどにより、政府に参加する役割を保証されている。

Image Credits: Zang/Weiss/Sweeney

連邦政府機関が全米市民に影響を与える新しい規則を策定する際には、規則案によって最も影響を受ける一般市民、権利擁護団体や企業が連邦機関に対して懸念を表明できるようにパブリックコメント期間を設け、その規則について最終決定を行う前にそれらのコメントを検討することが法律で義務付けられている。このようなパブリックコメントの義務化は、1946年の行政手続法の成立により導入され、2002年には電子政府法により、連邦政府はパブリックコメントを受信するオンラインツールを作成することを求められるようになった。それ以来、投稿されたコメントを実際に調査したことを証明すること、およびパブリックコメントに基づいて下した決定に関連する分析結果や決定の正当性を示すものを開示することを連邦政府に要求する判決がいくつも下されている[Overton Park保護団体対Volpe 401 U. S. 402, 416(1971)Home Box Office対FCC 567 F.2d at 36(1977)Thompson対Clark 741 F. 2d 401, 408(CADC 1984)を参照のこと]。

実は、筆者らがCMSのパブリックコメントサイトでディープフェイクテキスト投稿に対する脆弱性をテストしたのは、2019年6月、米国最高裁が7対1で「CMSは、州内でのメディケイド資格取得規則に就業状況報告義務を追加するという州政府の提案を検討する際に、行政手続法のパブリックコメント検討義務を省略することはできない」という判決を下したからだ。

政治学者の研究によると、パブリックコメントは連邦政府機関による最終決定に大きな影響を及ぼす可能性がある。例えば、ハーバード大学が2018年に行った調査によると、連邦準備制度が定めるドッド-フランク法関連規則についてコメントを投稿した銀行は、コメントしなかった銀行よりも70億ドル(約7600億円)多い超過リターンを獲得していたことが判明した。さらに、同調査においてボルカー規則とデビッドカード交換規則について投稿されたコメントを分析した結果、さまざまな銀行から投稿されたコメントが、初期草案から最終案に至る「不透明なプロセス」に重大な影響を与えたことがわかった。

2017年のネット中立性撤廃規則では、業界団体のブロードバンド・フォー・アメリカが、正式な社名を使って直接コメントするだけでなく、ネット中立性撤廃を支持する数百万件のフェイクコメントを投稿することで、FCCの規則案が米国市民によって広範に支持されているという誤った認識を作り上げた。

ディープフェイクテキストによるパブリックコメントへの投稿を阻止するテクノロジー

筆者らの研究はディープフェイクテキストの脅威がパブリックコメントウェブサイトに混乱をもたらすことを示しているが、これは、長年にわたり米国の民主主義を支えてきたパブリックコメントウェブサイトという仕組みを終わらせるべきだということではない。テクノロジーを活用して、人間が書いたパブリックコメントのみを受け入れ、ボットによるディープフェイクテキストは拒否する革新的なソリューションを実現する方法を見つける必要がある。

パブリックコメントプロセスには、コメントの投稿とコメントの受理という2つの段階があり、どちらの段階でもテクノロジーを活用して問題を解決できる可能性がある。

まず、コメントの投稿という最初の段階にテクノロジーを利用することで、そもそもボットがディープフェイクコメントを投稿するのを阻止できる。そうなると、攻撃者はボットの代わりに大勢の人を使わざるを得なくなり、コストが高くなって攻撃自体が割に合わなくなる。すでに広く浸透しているソリューションの1つにCAPTCHAボックスがある。インターネット上の入力フォームの末尾で、ある単語を視覚的に判読するか音声で判別するように求め、正解した場合にのみ送信をクリックできるようにする仕組みだ。CAPTCHAでは余分な手順の追加によりボットによる送信実行が困難になる。こうしたツールは、障がい者でも使えるように改善する余地はあるものの、正しい方向への一歩といえるだろう。

ただし、海外の安い労働力を使ってCAPTCHAの入力を行わせディープフェイクコメントを投稿するという手段を取られたら、CAPTCHAでは攻撃を阻止できない。これに対抗する1つの方法として、コメントを投稿するたびに毎回厳密な個人情報の入力を求めるという方法が考えられるが、その方法だと、CMSやFDA(食品医薬品局)によって現在行われている匿名コメントの受け付けが不可能になる。匿名コメントは、ヘルスケアなどのデリケートな問題に関する規則案によって多大な影響を被る可能性のある個人がプライバシーを守りつつコメントする方法として有用だ。したがって、ユーザーの認証手順とコメントの投稿手順を切り離して、認証された個人だけがコメントを匿名で投稿できるようにすることが技術的な課題となるだろう。

最後に、第2段階のコメントの受理においては、より高度なテクノロジーによって、ディープフェイクテキストと人間による投稿を識別できる。筆者らの研究では100人を超える調査対象者がディープフェイクテキストの例をフェイクとして判別できなかったが、より高度なスパム検出アルゴリズムが登場すれば、判別率は向上するだろう。今後、機械学習による手法が進歩するにつれ、ディープフェイクテキストの生成アルゴリズム開発と判別アルゴリズム開発がせめぎ合うようになるかもしれない。

当面の課題

将来、テクノロジーの進歩によってさらに包括的なソリューションが可能になるとはいえ、ディープフェイクテキストが米国の民主主義に及ぼす影響は現在進行中の脅威である。そのため、連邦政府のすべてのパブリックコメントウェブサイトで、当面のセキュリティ措置として最新のCAPTCHAを採用することを推奨したい。この方針は、米国上院調査委員会のReport on Abuses of the Federal Notice-and-Comment Rulemaking Process(連邦告知とコメント規則策定プロセスの乱用に関する報告)でも支持されている。

加えて、より優れたテクノロジーソリューションを開発するために、政府、研究者、民間のイノベーターという産学官の連携を確立する必要がある。ハーバード大学が、他の20の教育機関およびニューアメリカ財団、フォード財団、ヒューレット財団と共にPublic Interest Technology University Network(パブリックインタレストテクノロジー大学ネットワーク)に参加したのもそのためだ。このネットワークは、公益に資することを目指す新世代の技術者や政策担当者を支援することに専念している。さまざまなカリキュラム、研究および実験的な学習プログラムを通して、パブリックインタレストテクノロジーという分野を構築するのが目的だ。将来的には、最初から公共の利益を考えてテクノロジーの開発と規制が行われるようになることを目指している。

新型コロナウイルスによって米国社会のさまざまな部分が大きな打撃を受けたが、トランプ政権下の連邦機関が規制緩和規則を提案する動きは弱まっておらず、それらの緩和規則が及ぼす影響は現在のパンデミック収束後も長く続くだろう。例えば、2020年5月18日に環境保護庁(EPA)が、EPAによる規制の支持に使用できる研究調査の制限に関して新しい規則を提案したが、この規制案には2020年4月6日時点で61万件のコメントが寄せられている。また、2020年4月2日には、教育省がオンライン教育と遠隔教育に関する規制を恒久的に緩和する新しい規則を提案した。さらに、2017年に2200万件ものボット生成コメントが投稿されたFCCのネット中立性規則に関するパブリックコメントは、「FCCはネット中立性規則の廃止が公共の安全と低所得者向け携帯電話アクセスプログラムに及ぼす影響を無視した」という連邦裁判所の判決をうけて、2020年2月19日にコメント募集が再開された。

連邦機関のパブリックコメントサイトは、規則の最終案が決定される前に米国の市民と団体が連邦機関に対して懸念を表明する唯一の手段だ。より高度なテクノロジーを活用して不正防止を図ることにより、国家の危機の際に米国の民主主義がディープフェイクテキストによってさらなる脅威にさらされるという事態を防ぐ必要がある。

“新型コロナウイルス

関連記事:Facebookが10億円超を投じてディープフェイクの識別に賞金

Category:パブリック 人工知能・AI

Tag:ディープフェイク ディープラーニング

[原文へ]

(翻訳:Dragonfly)