厳密に言うと、ビデオは対話型メディアではない。しかしMITの新たな研究プロジェクトはそれを変えようとしている。同大学のCSAILラボが開発した技法を使うと、視聴者はビデオに映った物に「触れ」て、まるで現実世界で物に触れているかのように直接動かしたり影響を与えたりできるようになる。
つまりこの技術を使うと、誰かがギターを弾いているYouTubeビデオでフレットを拡大表示して弦をマウスでドラッグすれば、実際に弦をはじいたような音がするという意味だ。あるいは、古い橋に人工の風やトラックの振動等のバーチャルストレスを与えて、負荷テストを行うこともできる。
このCSAILの新しいモデルでは、通常のカメラで撮影したビデオをチームが開発したアルゴリズムで解析し、個々の物体の振動を分析する。最短5秒間のビデオからでも解析が可能で、他の動作に対してどう反応するかを予測して現実的な予測モデルを作ることができる。
通常この種の効果をビデオゲームや対話型メディアで実現するためには、バーチャルモデルの製作という費用も時間もかかる手作業が必要だ。バーチャルなアニメキャラクターが現実世界と融合したロジャーラビット型映画の制作にこの新技術を使えば、リアルなビデオをCGと合成するのも簡単になり、ロジャーラビットをはるかに越える応用が可能になる。
MITはこの技術が面白い結果を生みそうな場所として、ポケモンGOの名前を挙げている。捕えようとしているBulbasaur［フシギダネ］が、草むらと実際に触れあっているように見えたらどうだろうか。大作映画でCGエイリアンが現実世界の都市を破壊する様子をビジュアルに表現するのもずっと容易になるだろう。
この新しい手法は、VRやARの技術に対する関心と投資の波に乗る最適のタイミングで登場した。多くの対話型VR体験の開発コストを大幅に削減することで、コンテンツ分野に新たな関心が寄せられることが期待できる。つまるところ、誰もがVRの価値を証明するものを求めている。最終的にCSAILは、VRビデオが今以上に魅力ある双方向メディアになれることを証明できるかもしれない。
[原文へ]
（翻訳：Nob Takahashi / facebook）