動画や静止画に映っている誰かの顔を乗っ取り、あたかも本人が実際にしゃべっているような映像をスマホから簡単に作れる——。そんなちょっと不思議だけど、ワクワクする体験を手軽に楽しめる「Xpression」というiOSアプリを知っているだろうか。
ユーザーがやることは素材となる動画や静止画を選び、スマホのカメラに向かって喋りかけるだけ。そうすれば自身の顔と素材に映る人の顔を入れ替え、現実さながらの映像をリアルタイムで生成することが可能だ。
たとえば有名人のスピーチ動画を使って本人からビデオレターが届いたような“サプライズ映像”を作ることもできるし、前もって撮影しておいた友人の動画を使って“その友人が絶対に言わなそうなこと”を言っている映像を作ったりもできる。
このプロダクトを手がけるEmbodyMeは、ディープラーニングを用いた映像生成技術などを開発する日本のスタートアップだ。同社は9月12日、複数の投資家を引受先とする第三者割当増資とNEDOの助成金により総額で約2.3億円を調達したことを明らかにした。
EmbodyMeでは調達した資金を活用してコア技術の研究開発を進める計画。「AIで目に見えるあらゆるものを自由自在に作り出す」というビジョンの下、ゆくゆくは次世代コンピューターグラフィックスの中心を担うような存在を目指していきたいという。
同社では過去にもインキュベイトファンドから9000万円、日本政策金融公庫の資本性ローンによる融資で4000万円を調達していて累計調達額は約3.6億円となった。なお本ラウンドの投資家は以下の通りだ。
- DEEPCORE
- インキュベイトファンド
- Deep30
- Techstars（米国の有名アクセラレータの1つ）
- SMBCベンチャーキャピタル
- 漆原茂氏
現実と区別がつかないリアルな映像をスマホから簡単に生成
Xpressionは冒頭でも触れた通りスマホから簡単にフェイク映像を作れるアプリだ。
EmbodyMe代表取締役の吉田一星氏によると、数年前に話題になった「Face2Face」など近しいコンセプトの研究はあるものの、プロダクトとして実用化しているものはまだない状況。既存の研究とは映像を生成するのに必要な素材や処理時間、動作環境などにおいても大きな違いがあるという。
「類似研究は17時間分の同じ人のビデオを用意した上で、約2週間の前処理時間が必要。なおかつリアルタイムでは動かないといった点が課題になっている。自分たちの技術は静止画や短いビデオでも問題なく、前処理は全く必要ない。さらにモバイルでもリアルタイムに動かせるのが特徴だ」（吉田氏）
実際のところXpressionはどのような技術で成り立っているのか。具体的には以下の3つのディープラーニングモデルを同時に動かすことで、リアルタイムで現実に近いコンテンツを生成している。
- カメラ越しにユーザーの顔の形状と表情を3Dで推定するモデル
- 素材となる動画や静止画から、3Dで顔の形状と表情を推定するモデル
- 口の中など映像として存在しない箇所を画像生成し補完するモデル
表情を推定する技術（3D Dense Face Tracking ）においては、従来使われてきた技術が70点以下の2Dのポイントを推定するのに留まっていたところ、Xpressionでは5万点以上の3Dのポイントを推定できる仕組みを構築。より詳細な表情認識を実現する。
同様の技術自体はAppleも保有しているが、3Dセンサーを使っているためハイエンドなiOSマシンが必要。Xpressionの場合は一般的なカメラがあればどのマシンでも動かせるのがウリだ。
また「存在しない箇所を画像生成する」モデルについては近年言及されることも増えてきたGAN（Generative Adversarial Network : 敵対的生成ネットワーク）を活用。吉田氏によると「静止画だけでなく動画を生成でき、モバイルでもリアルタイムに動かせるのは他にはない特徴」だという。
これらに加えて、機械学習の学習データを集める仕組みとして50台のカメラと偏光LEDライトを保有し高精度な3Dフェイシャルモデルをキャプチャできる設備も整えた。
米国の有名アクセラに採択、「ミーム」文化に合わせた新アプリも
EmbodyMe代表の吉田氏は前職のヤフー時代から、スマホのインカメラを使ってキャラクターや他の人物になりきれる「怪人百面相」や自分の分身となるアバターを生成し動かせる「なりきろいど」を開発してきたエンジニアだ。
2013年ローンチの怪人百面相は「Snapchat」や「SNOW」に搭載されているフェイスエフェクト機能のようなもの、2015年ローンチのなりきろいどはVTuberになれるアプリに近い。これらの技術をいち早くプロダクト化してきた吉田氏を中心に、EmbodyMeには先端技術の開発に携わった経験を持つエンジニアが集まっている。
EmbodyMe代表取締役の吉田一星氏
2018年にローンチしたXpressionは、同社が現在取り組む基盤技術を実用化したプロダクトの1つという位置付け。同サービスに関する論文はSIGGRAPH Asia Emerging Technologiesに採択されるなど、技術的な観点でも注目を浴びている。
現時点のアプリダウンロード数は非公開だが、海外比率が約7割と海外ユーザーの利用も多い。今年に入って米国の著名アクセラレータープログラム「Techstars」にも採択され、現地のプログラムに参加。ポジティブな反響も多かったようで、年内を目安にコミュニティ要素などを加えて大幅にバージョンアップしたアプリ（サービス名は同じ予定）を公開することも計画している。
「米国には大きな『ミーム』文化があり、大雑把に説明すると日本における『ボケて』のようなアクションが大規模に行われていて、いろいろな人が同じネタをパロディ化してYouTubeなどに投稿することが広がっている。（Xpressionは）その文化にすごく合致するので、ユーザーが面白い動画を投稿したり、楽しめるようなコミュニティを作っていきたい」（吉田氏）
近年、特に海外ではディープフェイク技術がフェイクニュースなどに使われる可能性も懸念されている。Xpressionもその性質上、悪用される恐れもあるが、電子透かし技術（対象となる映像が自分たちの技術で作られたのか判別できる技術）などを取り入れながら対策をする方針。著作権についても企業と組みクリアにした形で、より多くの素材を使える仕組みを作っていきたいという。
狙うは次世代コンピュータグラフィクスの中心を担う存在
EmbodyMeのメンバー
現在EmbodyMeは基盤技術の研究開発に軸足を置いている段階で、今回の資金調達もそれを加速させることが大きな目的。「アプリは技術のショーケース的な意味合いもある」と吉田氏が話すように、会社としては今後同サービスに限らず、自社技術を用いた別領域のプロダクト開発も検討していく。データを集めながら基盤技術を育てていくことが狙いだ。
たとえばXpressionの技術を使えば「事前に自身のスーツ姿や仕事スタイルの映像を撮影しておくことで、パジャマやすっぴんの状態でも“ちゃんとした格好に見える”ビデオ会議ツール」なども実現可能。動画広告用のクリエイティブ作成やVTuber用のアプリなどエンタメ領域、AIスピーカーと絡めた映像生成ツールなども同様に基盤技術の活用方法として考えられるそうで、すでにプロトタイプの開発が進んでいるものもあるという。
また日本政府がXpressionの技術を使ってG20サミットのプロモーション映像を制作した事例など、他社と共同でプロジェクトに取り組むケースも生まれている。同アプリとほぼ同じものをスマホSDKとして提供する、コア技術の一部を提供するなど座組みは都度異なるが、引き続き他社とタッグを組むことによる技術のアップデートも視野に入れていく。
吉田氏いわく現在は「研究としても初期段階で、自分たちの将来的な構想を踏まえても10%ぐらいまでしか到達していない状況」なのだそう。まずは声や文字だけから表情を動かせる技術、その次は頭部や体全体を動かせる技術などへ少しずつ技術を拡張していくことを目指すが、最終的に見据えているのは「コンピュータグラフィックス（CG）領域での挑戦」だ。
「CGは90年代にアニメーションやゲーム領域で商業的にも大きく成功したが、2020年代にかけてディープラーニングの発展などにより従来とは全く違う形で映像や画像を生成できる技術が生まれ、今までのCGを置き換えていくと考えている。あらゆる人がものすごく簡単にどんな映像でも作れる時代がきた時に、いち早くプロダクトを出して中心的なポジションにいたい」（吉田氏）
記憶にある限り、最近のどのiPhoneイベントよりも、今回の発表はコンテンツに重点を置いたものだった。まず、Apple Arcadeに登場予定の何本かのゲームのデモで幕を開け、Apple TV+の話に入っていった。新しいiPhoneが必ずしも脇に追いやられたというわけではないにしても、今回のイベントが、Appleの変革を周囲に知らしめる重要な機会であったことに疑いの余地はない。
これはHDRと同様に動作し、大規模な合成によって写真を生成する。Deep Fusionでは、9枚の写真を使用する。iPhone本体に内蔵された機械学習によって最適なピクセルを選択し、画像ノイズを大幅に軽減した、極めて高画質の写真が得られる。
日本のほか、中国、韓国、シンガポールなどで同様の予選が実施され、日本からは1社が10月25日に中国・上海にて開催される決勝大会にファイナリストとして進出する。ちなみにTechNodeは、米国TechCrunchとライセンス契約を結んでいる中国のメディアで、TechCrunch記事の翻訳・配信を手がけているほか、米国TechCrunchと共同で「
審査の結果、オーディエンス賞はSe4、イノベーティブ賞はAC Biode（エーシーバイオード）、日本予選優勝はXenoma（ゼノマ）が獲得した。
洗濯物を全自動で畳んで分類・収納するタンス「INDONE」（インダン）を開発。本体に設置された衣類カゴに洗濯・乾燥させた衣類を入れるだけOK。衣類は1枚1枚折り畳まれて、複数用意された引き出しに分類されていく。独自の画像処理技術と汎用のロボットアームを組み合わせることコストを圧縮し、30〜50万円程度での販売を計画している。業務用にタオルのみの折り畳みに特化したマシンも開発しているとのこと。さらに来年以降、マンションのビルトイン家具としても販売予定だ。同社ではINDONEのほか、短い時間で眠りに着くことができるベッド、疲れがものすごく取れるバスルーム商品、誰でも簡単においしい料理が作れるキッチン製品といったコンセプトの商品開発を進めている。
スマートフォンと連動するIoT宅配ボックスを開発。宅配業者が発行する追跡番号を利用することで、ドライバーは伝票に記載されたバーコードと追跡番号をスキャンすれば宅配ボックスを解錠して荷物を中に置ける。ボックス内部にはカメラが設置されており、確実に荷物が投函されたかどうかもわかる。荷物が投函されると期限付きのQRコードが発行されるので、受取人はそのコードを宅配ボックス本体にかざせば解錠可能だ。宅配ボックスは、単三形電池6本を使用し、Wi-FIでネット接続する。9月12日からMakuakeにて、戸建て住宅向け製品のクラウドファンディングの実施が決まっている。そのほか、マンションなどの集合住宅向け、シェアオフィス向けに複数のユーザーが利用できる仕組みも検討している。
電極式の心電・血圧計測ヘルスバンドを開発。同社開発のヘルスバンドには、同社独自の省電力かつ強力な近赤外線LED発光の回路技術と、ノイズを除去しつつ特徴点を抽出する技術が利用されているのが特徴とのこと。赤外線やレーザーなどでバイタルデータを計測する競合製品はあるが、同社独自の強力な近赤外線LED発光とそれを解析する技術が他社に比べて優れているとのこと。現在はこのヘルスバンドをベースに、糖尿病患者向けの非侵襲小型連続血糖値センサーを開発中。非侵襲、つまり針などを刺さずに血糖値を計測することが可能になる。
ヨットや自転車、ウィンドサーフィンなど広域スポーツが抱える、観戦しにくい、コーチングしにくいという共通の課題を解決することを目指し、独自のアルゴリズムを搭載したレース中継用やトレーニング用のエッジデバイスの開発を進めている。感覚に頼っていたコーチングを数値化できるほか、各選手にGPSを持たせて観戦者が選手の位置を把握できるようにするといった製品を計画している。現在は、走行データをリアルタイムにチェックできる通信デバイスを開発中だ。
自律移動を行う高さ1mほどの宅配ロボット「CarriRO Deli」を開発。利用者がスマートフォンから商品を注文すると、コンビニエンスストアなどの店舗スタッフがCarriRO Deliに商品に積み込み、利用者のところまでCarriRO Deliが自律走行して宅配してくれる。利用者はQRコードをかざすだけでボックスを解錠可能だ。一度の充電で8時間程度の走行が可能。走行ルートが人に塞がれた場合、人を回避するのではなく音声で人に回避を促す。そのほか、指定した目的地まで自律移動する「Robocar Walk」という移動補助ロボットも手がけている。こちらは、空港やショッピングセンターなどでの利用が想定されており、ロボットに備え付けられたタブレット端末で行き先を指定する。
注意欠陥・多動性障害（ADHD、Attention-deficit hyperactivity disorder）を持つ人々を支援するハードウェアを開発。ホログラフィーで表示されたキャラクターとの会話などを通じて精神の安定を図る「モチベーション・インタビューイング」という会話の手法を採っており、質問を繰り返しながらポジティブなマインドを醸成する。
独立型交流（AC）電池を開発。現在使われている電池はすべて直流タイプだが、大容量化や安全性が完全には解決できていないという問題がある。同社が開発した特殊な電気回路により、交流電池の開発が可能になったという。この交流電池は、プラスとマイナスの2極の間に中間電極（Biode）を設けることで安全性を高められるうえ、直流タイプに比べて容量が30%コンパクトになり、ライフサイクルも2倍になるという。さらに既存の材料や製造工程、機器を流用できるのが特徴だ。2020年後半には、ドローンや電気自動車に向けたライセンス供与を開始予定とのこと。
スマートアパレルテクノロジー「e-skin」を開発。e-skinを着用することで、常時の全身計測（ライブモーションキャプチャー）が可能になり、それらのデータを集約したビッグデータを活用したサービスの開発を目指す。日常利用できる素材やデザインを採用しているのも特徴だ。高齢者向けの在宅医療サービスも計画されており、e-skinを着用することで室内の移動や転倒（つまづき、滑り）、睡眠状態などを把握できる。睡眠状態を判断してエアコンの制御なども可能になる予定だ。来春からアパレル会社と組んで、高齢者だけでなく成人向けのパジャマとして販売予定とのこと。センサーは基本骨格の動きを検知する。
VRシミュレーターを使用し、通常では実現が難しい遠距離、もしくは通信遅延が発生するような環境での操作を可能にするロボット遠隔操作技術を開発。
忘れ物防止タグを開発。Bluetooth Low Energyを利用して専用アプリを介してスマートフォンとつながっており、タグとスマートフォンが一定距離から離れると通知を受けることができる。このタグを装着した鍵やカバンなどを紛失した場合、MAMORIOアプリをインストールしているスマートフォンを持つほかユーザーが、紛失した場所の近くを通るとタグと通信してその場所を特定できるようになる。音で知らせる機能はMAMORIOには搭載されていないが、室内などの狭い場所で紛失した場合はAR機能を使ってスマートフォンの内蔵カメラでなくしたものを探し出せる。そのほかタグの場所を常時監視できるIoTデバイスとしてMAMORIO Spotを開発し、鉄道会社の忘れ物預かり所などに設置することで忘れ物、落とし物の早期発見を支援している。
常時表示ディスプレイは他のスマートウォッチと同じく、低消費電力ディスプレイを使うことで実現している。しかし画面の変化は新型のFitbit Versaほど極端ではない。文字盤は反転するが、コンプリケーションなどの画面要素は見えている。デモ機で試したところ、切り替わるタイミングは光センサーを手で隠したときや自然に腕を下ろしたときなどに変わった。
nearMe.は、同じ方向のタクシーを利用する人々をマッチングして相乗りを実現するサービス。道路運送法では、タクシーは1回の運送につき1つの運送契約という決まりがあり、原則として相乗りは禁止されている。しかしnearMe.では、最後までタクシーに乗る利用者がすべてのタクシー料金を支払うので、タクシー会社側からすると1つの運送契約と見なされるため合法となる。
8月にはJapanTaxiと提携したことで、nearMe.アプリからJapanTaxiのアプリを呼び出して、その場でタクシーを配車することも可能になった。そのほか同社は、地方のハイヤー会社と組んだ実証実験も進めている。
8月下旬からは、nearMe.のテクノロジーを活用して、東京都区内から成田空港までの相乗り
カメラを搭載したことは、いくつかの理由で決定的な違いだ。最大の理由は、もちろんセキュリティだ。オリジナルのHubではあえて会話にカメラを使うことを避けた。その理由はシンプルだ。ナイトスタンドで使用するためのプロダクトだったからだ。もちろん、プライバシーには常にリスクがつきまとうが、多くの人にとってクラウドにつながったカメラを寝室に持ち込むことはさらなるリスクを背負い込むようなものだ。
もちろん後部には、マイクとカメラをオフにするスイッチがある。カメラがオンになっているときはその横にあるライトが赤く光る。カメラオフ、または別のデバイスでの録画を意味する赤いライトには別の目的があるのだろうと推測する。
セットアップは、スマホのアンロック作業と似たようなプロセスを経る。スマホのカメラを使って顔の3Dイメージを撮り、Nest Hub Maxがユーザーを認識すると「こんにちはブライアン」というふうな文言とGoogleプロフィールに関連するイメージであいさつしてくれる。そして使用可能な状態になると、デバイスはあなたに合った提案などをするようになる。アカウントの切り替えも顔認識でできる。
便利なことに、このデバイスがカメラとして使われるときには、セキュリティのために「Nest Camが起動しています」とノーティフィケーションを出し、ユーザーがわかるようになっている。もちろん、他のさまざまな種類の接続しているカメラや、中央コントロールパネルのように動くスマートホームデバイスと一緒に使うこともできる。セットアップで追加できる利用可能なビデオサービスはたくさんあり、そこにはHBO NowやCBSも含まれる。ただし、現段階ではNetflixは利用できない。おそらくAmazon Primeもダメだろうが、Chromecastにはある程度対応する。
マイクは2つしか搭載されていない。この数は、競合する多くのスマートホームデバイスよりも少ない。しかし、マイクと改善された音質にもかかわらず、Googleはハイエンド製品Home Maxにある自動的に部屋の空間を認識して音を調整する機能を搭載しなかった。