NVIDIAが多機能でリアルなAIアバター・AIアシスタントが作れるプラットフォーム「Omniverse Avatar」を発表

NVIDIAは11月9日、仮想コラボレーションとリアルタイムシミュレーションのためのプラットフォーム「NVIDIA Omniverse」(オムニバース)上で使えるインタラクティブなAIアバターが作れる機能「Omniverse Avatar」(アバター)を発表した。

Omniverse Avatarは、単にインタラクティブに動かせるレンダリングされた3Dキャラクターを作るだけではなく、音声、AI、自然言語理解、レコメンデーションエンジン、シミュレーションといったNVIDIAのテクノロジーが駆使され、見たり、聞いたり、多言語で話したりができるAIアシスタントとして機能する。NVIDIAの創業者でCEOのジェンスン・フアン氏はこれを、「インテリジェントな仮想アシスタントの夜明け」と称している。

NVIDIA Omniverseの新機能として追加された「Omniverse Avatar」には、次の要素が盛り込まれている。

  • 音声認識:複数言語の音声を認識するソフトウェア開発キット「NVIDIA Riva」をベースに会話の応対を行う
  • 自然言語理解:「NVIDIA Megatron 530B大規模言語モデル(Large Language Model)」をベースに、複雑な文書の作成、幅広い分野の質問への回答、長いストーリーの要約、他言語への翻訳などを行う
  • レコメンデーション エンジン:大量のデータを処理し、賢明な提案を行うことを可能にするディープラーニング レコメンデーション システムを構築するためのフレームワーク「NVIDIA Merlin」を利用
  • 認知機能:ビデオ分析用のコンピュータービジョン・フレームワーク「NVIDIA Metropolis」を活用
  • アバターのアニメーション:2Dおよび3DのAIによるフェイシャルアニメーションとレンダリングの技術「NVIDIA Video2Face」と「NVIDIA Audio2Face」を使用
  • これらの技術がアプリケーションに組み込まれ、「NVIDIA Unified Compute Framework」を使ってリアルタイムで処理される

フアン氏のアバターを使ったデモでは、同僚とのリアルタイムの会話が披露され、生物学や気象科学などの話題について語った。また、別のデモでは、レストランの2人の客にカスタマーサービス担当アバターが対応し、ベジタブルバーガーとフライドポテトと飲み物の注文を受けることができた。さらに、騒々しいカフェでビデオ通話をする女性の音声を正確に聞き取り、その言葉をリアルタイムで書き写し、その女性と同じ声とイントネーションで、ドイツ語、フランス語、スペイン語に翻訳して見せたとのことだ。

日米11以上のプロ球団が採用のシーン映像分析プラットフォームを手がけるRUN.EDGEが資金調達、累計調達額15億円に

日米11以上のプロ球団が採用のシーン映像分析プラットフォームを手がけるRUN.EDGEが資金調達、累計調達額15億円に

スポーツや教育分野で映像分析プラットフォームを提供するRUN.EDGE(ラン.エッジ)は10月4日、プレシリーズBラウンドにおいて、第三者割当増資および日本政策金融公庫からの特別貸付(資本性劣後ローン)による資金調達を発表した。引受先は、慶應イノベーション・イニシアティブ(KII2号投資事業有限責任組合)、Sony Innovation Fund、三菱UFJキャピタル(三菱UFJキャピタル8号投資事業有限責任組合)、日本リビング保証。シードラウンドからの累計調達額は約15億円となった。

調達した資金により、プロユースで培った技術をアマチュア向けに展開し、選手の競技力向上に貢献する。また、オンライン教育向け・メディア向け・産業向けなど積極的に技術展開し、生活やあらゆる社会活動の中で、映像を「シーン」で使えるよう価値提供を進める。

RUN.EDGEは、富士通の事業から独立・カーブアウトし、スカイライトコンサルティングと共同で活動を開始。映像分析のSaaS型サービス・プラットフォームを提供している。野球向けサービス「PITCHBASE」(ピッチベース)は、日本と米国において11以上のプロ球団が採用。サッカー・バスケ・ラグビー他フィールドスポーツ向けアプリケーション「FL-UX」(フラックス)は、Jリーグクラブ、Bリーグクラブ、欧州リーグクラブをはじめとした国内外の50以上のトッププロ・アマチュアクラブに利用されているという。

日米11以上のプロ球団が採用のシーン映像分析プラットフォームを手がけるRUN.EDGEが資金調達、累計調達額15億円に

野球向けサービス「PITCHBASE」(ピッチベース)

日米11以上のプロ球団が採用のシーン映像分析プラットフォームを手がけるRUN.EDGEが資金調達、累計調達額15億円に

サッカー・バスケ・ラグビー他フィールドスポーツ向けアプリケーション「FL-UX」(フラックス)

また、プロスポーツで培った映像技術をオンライン教育向けに展開した「TAGURU」(タグる)は、コロナ禍の中で新しい教育を促進するために大学や塾で導入・実証が進められているそうだ。

日米11以上のプロ球団が採用のシーン映像分析プラットフォームを手がけるRUN.EDGEが資金調達、累計調達額15億円に

オンライン教育向けに展開したTAGURU」(タグる)

専門知識なしで動画からオブジェクト検出 ― Matroidが本日ローンチ

画像が何千語分もの情報をもつとしたら、ビデオはその数字にフレームレートを掛けあわせた分の価値があることになる。本日ローンチしたコンピュータービジョンのMatroidは、誰もがビデオの中に含まれた情報を活用できるようになるサービスだ。直感的に操作できる同社のWebプラットフォームを利用することで、ビデオに映る人物やその他のオブジェクトを検出するディテクターをつくることができる。

Matroid創業者のReza Zadeh氏はスタンフォード大学で非常勤の教授を務める人物。彼が最初にこのビジネスの構想を思いついたのは約10年前だった ― そして今、彼は民主化が進むコンピュータビジョンの分野に参入することとなった。Matroidの得意分野は、医療画像などの中にある情報を取り出すことではなく、ビデオからオブジェクトを検出することだ。

Matroidのユーザーは、オブジェクトを検出するディテクターを構築するためにTensorFlowやGoogle CloudのVideo Intelligence APIを利用する必要はない。必要なのは、みずからが用意したトレーニングセットをアップロードするか、何百万もの画像からなるMatroidのライブラリから必要なものを選択することだけだ。Matroidはトレーニング・プロセスの最中に画像や動画を処理することができる。インプットの処理には複数のニューラルネットワークが利用されている。Matroidにビデオをアップロードすると、そこに映る重要なオブジェクトに四角形の枠を重ねるように指示される。そうすることでディテクターをトレーニングすることができるのだ。

Metaroidを使って監視カメラ用のディテクターをつくり、殺人容疑がかけられた人物の無罪を証明するという例を考えてみよう。映画「My Cousin Vinny(邦題:いとこのビニー)」のJ・ペシを救うのだ(日本版注:いとこのビニーは、J・ペシが演じるビニーがスーパーマーケットを訪れた際に強盗殺人犯に間違われてしまうというストーリー。ビニーの愛車はメタリックミント色のビュイック・スカイラーク)。そのために必要なのは、1964年製のビュイック・スカイラークの画像と自動車のコマーシャルビデオなどを使ってディテクターをトレーニングすることだけだ。そして、そのディテクターを使ってスーパーマーケットの監視カメラにビニーの愛車が映っているかどうか確かめればいい。

MetaroidはNielsenなどの企業と手を結び、テレビや他のメディアの動画コンテンツから有益な情報を抜き出すビジネスを展開する予定だ。Appleを例にすれば、iPhoneやMacBookがHBOのテレビドラマに登場する回数を数えるなどのユースケースが考えられる。しかし、Metaroidが活躍するのは広告関連の分野だけではない。例えば、監視カメラの映像を確認するという作業の一部をMetaroidによってオートメーション化することができる。動物や風に揺れる木を無視して、人間や自動車だけを検出するディテクターをつくればいいのだ。

Metaroidはこのユースケースからマネタイズしようとしていて、ストリーミング動画のモニタリングに課金する予定だ。また、データを社外に持ち出すことを嫌う企業に対しては、ローカルに動作するアルゴリズムを有料で提供する。また、Metaroidはビデオに映る光エフェクトを検出したいなどの特定のニーズにも対応できる。YouTube動画に映るバットマンを検出するのは無料だ。

Metaroid創業者兼CEOのReza Zadeh氏

Zadeh氏率いるMetaroidのチームは現在、コンピュータービジョンのマーケットプレイスを構築しようとしている。これが実現すれば、エキスパートたちがより高度にカスタマイズされたディテクターを販売できるようになる。ディベロッパーたちを惹きつけるため、彼らはビジュアライゼーション・ツールを同社のプラットフォームに追加する予定だ。また、同社はTensorFlowを使ったツール内部の大半を公開している。

「ディテクター分野で最大のシェアを持ちたいと考えています」とZadeh氏は話す。

Matroidがサステイナブルな価値を提供するためには、コミュニティをできるだけ早く形成することが必要だ。そのため、Zadeh氏はScaled Machine Learningと呼ばれるカンファレンスを主催したり、TensorFlowの使い方を学ぶための場を設けるなど、機械学習コミュニティで盛んに活動している。

これまでにMatroidはNEAからの資金調達を完了している。Matroidがコミュニティを早期に形成し、彼らのプラットフォームのユーザーが増えてこれば、NEAはこの投資から利益を上げることができるだろう。

[原文]

(翻訳: 木村拓哉 /Website /Facebook /Twitter