スマホで全身をモーキャプし3Dキャラに反映、VTuber配信で利用可能な「Single3D」

ネクストシステムは3月26日、開発中の「VisionPose Single3D(Single3D)」のデモ映像を公開した。

映像からわかるように、Single3Dを使えば、スマホで全身をリアルタイムでモーションキャプチャーし、動きを3Dキャラクターに反映することができる。

Single3Dはネクストシステムが提供する「VisionPose」シリーズの1つで、WEBカメラとAIを利用して人間の骨格座標を検出するシステムだ。深度センサーに依存せず、ディープラーニングを使うことで骨格の3D座標の検出をWEBカメラ1台のみで可能にした。

モーションキャプチャを行う際は、通常、カメラを複数台用意し、対象にデバイスを装着する必要がある。だが、ネクストシステムいわく、Single3Dではカメラ1台で3D座標の取得が可能。

VisionPose Single3Dの検出ポイント図

デモ映像ではスマホのカメラを通して被写体の骨格をリアルタイムに検出し、アバターに動きを反映させた。

ネクストシステムは同社のVisionPoseシリーズが下記のような用途で利用されることを想定している。

  • フォームチェックや採点補助などスポーツの動作解析
  • 監視カメラを用いた不審者の検知や急病人の検知
  • 消費者の行動解析によるインサイト調査(無人レジなど)
  • VTuber配信やアーケードゲームなどエンタメ分野への応用

Single3Dの価格は未定だが、2019年6月に販売予定となっている。

提供方法は以下の通りだ。

  • PC版とiOS版をそれぞれSDKとして提供
  • PC版:C#/C++向けのライブラリ
  • iOS版:Swift向けのライブラリ

※Unityサンプルコードあり

投稿者:

TechCrunch Japan

TechCrunchは2005年にシリコンバレーでスタートし、スタートアップ企業の紹介やインターネットの新しいプロダクトのレビュー、そして業界の重要なニュースを扱うテクノロジーメディアとして成長してきました。現在、米国を始め、欧州、アジア地域のテクノロジー業界の話題をカバーしています。そして、米国では2010年9月に世界的なオンラインメディア企業のAOLの傘下となりその運営が続けられています。 日本では2006年6月から翻訳版となるTechCrunch Japanが産声を上げてスタートしています。その後、日本でのオリジナル記事の投稿やイベントなどを開催しています。なお、TechCrunch Japanも2011年4月1日より米国と同様に米AOLの日本法人AOLオンライン・ジャパンにより運営されています。