情報通信研究機構(NICT)は3月14日、たった1台のカメラの画像から自分のデジタルツインとなる3Dアバターをモデリングし、細かい表情や動作も三次元的にリアルに表現できる技術「REXR」(レクサー。Realistic and Expressive 3D avatar)を開発したと発表した。メタバースなどでのコミュニケーションで、アバター同士の深い相互理解が実現する可能性がある。同研究は、NICT ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室のMichal Joachimczak氏、劉珠允氏、安藤広志氏によるもの。
今回の研究では、映像入力から筋活動の出力までを支える一連のアルゴリズムを統合し、全体の計算をパッケージ化してAmazon Web Services(AWS)上に実装することに成功した。また、計算を完了しデータベースに記録されたデータは直後から検索が可能になり、可視化システムによりグラフ表示も行えるようになる。さらに、ゲームエンジン「Unity」を用いた専用アプリで運動を3D表示することも可能となった。
都市行政だけでなく、この映像は自動車企業にも役に立つ。「あなたが自動車関連のOEMなら、Nexar CityStreamの『Autopilot or Supercruise(自動操縦または超高速走行)』を有効にして、障害物や事故や工事などがまったくない、長い道路区間を知ることができる。逆に工事があるときは、終了時にそれらの機能を再有効にできる」とシール氏。
今回の実証実験の目的は、「屋内外の大規模・複雑な構造を備える建設現場において、汎用単眼カメラを装着して巡視する職員の移動経路を3次元の動線として把握できるか」「BIM/CIMを含むデジタルツイン・プラットフォームとSLAMで取得した3次元位置情報を統合することで、安全管理や労務管理のためのツールとして発展する可能性があるか」を検証するものだ。BIM(Building Information Modeling)は、3次元の形状情報、材料・部材の仕様・性能・コスト情報など建物の属性情報を備える建物情報モデル。CIM(Construction Information Modeling)は、土木分野において国交省が提言した建設業務の効率化を目的とした取り組み。計画・調査・設計段階から3次元モデルを導入し、施工・維持管理の各段階でも連携・発展させ、事業全体で関係者間で情報を共有するというもの。
一般に、レーザーや赤外線を活用するSLAM技術(自己位置推定と周辺環境の地図を同時に実行する技術。Simultaneous Localization and Mapping)は、専用センサーを必要とすることから、デバイス費用が高額、かつセンサーの設置のためのスペースや電源供給に課題があった。またセンサーの代わりに画像データを活用する研究も進められているものの、膨大な計算負荷に加え、現場での活用に耐える精度の確保が難しく、実装には至っていないという。