本格的なモーションキャプチャーは、大量の光学マーカーや内部のセンサー、あるいはその両方を使う。組み立ても分解もたいへんだし、膨大な量のデータを作り出す。Disney Researchのこのプロジェクトは、体の動き方に関するお利口な想定を利用して、わずかばかりのセンサーを使用し、高品質な結果を作り出す。
研究者たちは、ありとあらゆるものがセンサーの理想的な数と配置の邪魔をすることに気づいた。マーカーや衣装、粗悪な照明なども邪魔をする。そこで彼らは、それでもなおかつ良質なリアルタイムの結果を作り出す、最小限のシステムを提案している。
彼らのシステムでは、慣性ユニットが両手、両足、頭と尾てい骨、計6つある。同じ場所に光学マーカーがあり、計測された相対的動きを、参照カメラが見た絶対位置に関連付ける。
とても少ないセンサーでうまくいくのは、送られてくるデータを、体の動きを多少知っている物理モデルに入力するからだ。マーカーの位置と、検出した力に基づいて、“物理的に正しい”位置と動きを計算し、それをさらに、既知の動き、関節の位置、および姿勢と照合して、おかしな情報でないことをチェックする。
だから、センサーは、肘は後ろに曲がらない、とか、膝はそんなおかしなねじれ方をしない、と言ってくれなくても、システムは体のシミュレーションに基づいて、それはありえないと判断できる。トップの静止画像では、青い男はセンサーの正規の組み合わせが作り出した地上真実(ground truth)だ。緑の男はモデルが計算したもの。そして黄色の男は、各コマを“動き優先(motion priors)”で捉えたもので、ときどき全然おかしくなる。
研究者たちが提案している最小のセットアップとリアルタイムのフィードバックは、モーションキャプチャーや仮想現実で役に立ちそうだ。Kinectやヘッドセットのセンサーが捉える体の動きは、多くの点で限界がある。でもそれらを、50の部分から成り、計算に1時間を要するシステムでリプレースすることはできない。プレーヤーが、全身を覆う完全なボディースーツを着るわけにもいかない。でも伸縮性のバンド2本にセンサーが付いてるだけなら、着脱は容易だし、日常的なVRアプリケーションには十分以上の良好な結果が得られるだろう。
このシステムを記述している論文は今日（米国時間12/12）、ロンドンで行われたConference on Visual Media Productionでプレゼンされた。