Adobe MAXで最も興味深いセッションの1つは、伝統的なSneaks基調講演だ。Adobe（アドビ）のさまざまな部門のエンジニアが登場して、最先端の仕事を見せびらかす。そこから製品化されるものもある。もちろん、そうならないものもある。最近は、やはりAIに焦点を当てた仕事が多くなっていて、Adobe Senseiプラットフォームもよく利用されている。今年は、まだ初期の段階のProject Sweet Talkがお披露目された。今回のイベントの注目の1つだ。
画像クレジット：Lisa Werner／Getty Images
アイデアは非常に単純なものだが、それを実現するのは難しい。これは、スケッチでも絵画でもいいが、肖像画を入力すると、そこに描かれた顔のパーツを認識し、ナレーションに合わせて口の動きをアニメーション表示するというもの。すでに、同社のCharacter Animatorでも似たようなことができる。Stephen Colbert（ステファン・コルバート）のThe Late Showのようなショーで見た人もいるだろう。ただし、アニメーションのコマ数に制限があるので、最高のアニメーターの手にかかっても、常にリアルに見えるとは限らない。少なくとも、この製品を使って線画をアニメーション化するような場合にはリアリティに欠けるきらいがある。Project Sweet Talkは、それよりはるかによくできている。ナレーションを分析し、AIを使用して、キャラクターの口と頭の動きをリアルにアニメーション化できるのだ。
このチームは、アドビの研究者のDingzeyu Li（ディンゼユ・リ）氏がリーダーとなり、マサチューセッツ大学アマースト校のYang Zhou（ヤン・チョウ）氏、ともにAdobe ResearchのJose Echevarria（ホセ・エシュバリア）氏、Eli Shectman（エリ・シェクトマン）氏がメンバーとなっている。実在の人々がカメラに向かって話している何千時間ものYouTubeの映像を、独自のモデルに入力した。驚くべきことに、そのモデルは、スケッチや絵画に非常にうまく適用できる。その顔が、単純な動物の顔のスケッチのように、人間の顔には似ても似つかないものであってもだ。
「アニメーションは難しいものだということを、私たちはみな理解しています」と、リ氏は私に語った。「顔の動きを、与えられたオーディオトラックに揃えたいとすれば、さらに難しいものになります。Adobe Character Animatorには、すでに「自動リップシンク」と呼ばれる機能があり、動きをオーディオに合わせることができます。しかし、実際に使ってみると、限界も見えてきます」。現在のCharacter Animatorで動かすことのできるのは口だけ。他のすべての部分は静止したままだ。それでは、もちろんリアリティのある動きは再現できない。この記事に埋め込んだProject Sweet Talkの作成を見れば、自動的に顔を巧みにゆがませて、うまくリアルに見せていることがわかる。これらの元になっているのは、すべて普通のJPEG画像だ。
だたし、この顔の輪郭をゆがませる処理のため、Project Sweet Talkは、写真に対してはそれほど優れた効果を発揮できない。単純に結果の見栄えがよくないのだ。しかしそのせいで、このプロジェクトがディープフェイクに悪用される心配はないということになる。「リアルに見えるディープフェイクを生成するには、多くの学習データが必要となります」とリ氏は言う。「私たちの場合は、目印となるものだけに注目しています。画像の中から抽出できるものです。そして、このようなアニメーションには、目印だけで十分なのです。しかし、私たちの実験によれば、目印だけでは、写真を使ったアニメーションには不十分だということもわかっています」。
将来的にアドビは、この機能をCharacter Animatorに組み込んでくる可能性がある。リ氏は、現在のCharacter Animatorでも可能となっているような、リアルタイムシステムを開発することは、チームの優先順位の上位にあると語った。
［原文へ］
（翻訳：Fumihiko Shibata）
