NICT、カメラ1台で動作や表情も再現可能な自分のデジタルツイン・3Dアバターを構築する技術「REXR」開発

NICT、カメラ1台で動作や表情も再現可能な自分のデジタルツイン・3Dアバターを構築する技術「REXR」開発

細やかな表情の変化を様々な方向から再現した3Dアバター

情報通信研究機構(NICT)は3月14日、たった1台のカメラの画像から自分のデジタルツインとなる3Dアバターをモデリングし、細かい表情や動作も三次元的にリアルに表現できる技術「REXR」(レクサー。Realistic and Expressive 3D avatar)を開発したと発表した。メタバースなどでのコミュニケーションで、アバター同士の深い相互理解が実現する可能性がある。同研究は、NICT ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室のMichal Joachimczak氏、劉珠允氏、安藤広志氏によるもの。

メタバースやMR(複合現実)で自分の分身となる3Dアバターは、現状ではあらかじめ用意されたCGキャラクターを使用することが多く、微妙な表情や動作の表現は難しい。自分自身のリアルな3Dモデルを作ろうとすれば、何台ものカメラやセンサーを使って体中をキャプチャーするといった大がかりなシステムが必要となる。NICTは、複数のAIモジュールを組み合わせることで、それをたった1台のカメラで可能にした。

まずは、カメラの前で1回転した画像からリアルな全身モデルを構築する。モデルができれば、後はカメラの前で動くことで、その表情や姿勢が推定されてモデルに反映される。時間ごとに変化する動作や表情が、3Dアバターに三次元的に再現され、どの方向からでも見られるようになる。

コミュニケーションの最中にわずかに顔に生じる表情の変化「微表情」(micro-expressions)や動作を忠実に再現できるため、アバターを通しての「深い信頼関係の構築やシビアなビジネス交渉」もリモートで可能になるとNICTは話す。今後は3Dアバターの三次元形状の正確さや動きの滑らかさといった精度の向上と、リアルタイム対応を可能にする技術開発を進めてゆくとのことだ。この技術の活用、実証実験、普及の際の倫理的、法的、社会的課題については、超臨場感コミュニケーション産学官フォーラム(URCF)のXR遠隔コミュニケーションWGなどと連携して取り組むとしている。

東京大学が人体のデジタルツイン作成を完全自動化、ビデオ映像入力から運動解析・筋活動解析・データベース化まで

東京大学が人体のデジタルツイン作成を完全自動化、ビデオ映像入力から運動解析・筋活動解析・データベース化まで

ゲームエンジン「Unity」を用いた専用アプリで、骨格運動と筋活動の3次元データを可視化

東京大学は3月3日、複数のカメラで撮影したビデオ映像から人体のポーズをコンピューター上に3次元再構成し、運動解析、筋活動解析の後、ただちにデータベース化して可視化するまでを完全自動化するサービスを開発したと発表した。スポーツ、介護、医療など幅広い分野での運動データの利用が可能になるという。アバターやロボットの全身運動のデータ取得にも使えるとしている。

同研究は、東京大学大学院工学系研究科 人工物工学研究センター 社会連携講座「ヒューマンモーション・データサイエンス」の中村仁彦上席研究員、東京大学大学院情報理工学系研究科 池上洋介助教、東京大学大学院工学系研究科 人工物工学研究センター HERNANDEZ Cesar特任研究員、東京大学大学院情報理工学系研究科 櫻井彬光氏ら研究グループによるもの。人の体のデジタルツイン(コンピューター上に再現された「双子」)を作成しデータベース化するためのビデオ映像入力から筋活動出力までの工程を、完全自動化することに成功した。

東京大学が人体のデジタルツイン作成を完全自動化、ビデオ映像入力から運動解析・筋活動解析・データベース化まで

カメラ4台を用いたモーションキャプチャーの様子

研究グループはこれまでに、モーションキャプチャーで得られた骨格の運動から関節に働く力や筋活動を推定する技術、骨格モデルを対象者の体型に合わせる骨格スケーリング、複数カメラで撮影した映像から骨格運動を3次元に再構成し筋活動解析を行う技術などを開発してきた。また、モーションキャプチャーにおいては、体にマーカーを装着することなく行える効率的な方法も編み出している。

今回の研究では、映像入力から筋活動の出力までを支える一連のアルゴリズムを統合し、全体の計算をパッケージ化してAmazon Web Services(AWS)上に実装することに成功した。また、計算を完了しデータベースに記録されたデータは直後から検索が可能になり、可視化システムによりグラフ表示も行えるようになる。さらに、ゲームエンジン「Unity」を用いた専用アプリで運動を3D表示することも可能となった。

東京大学が人体のデジタルツイン作成を完全自動化、ビデオ映像入力から運動解析・筋活動解析・データベース化まで

グラフ化された運動解析データ

以前は、計算段階で人手による例外処理を必要とするなど、生産性に限界があったため、特定のアスリートに限った運動解析しか行えなかったが、この全自動化されたシステムを用いれば、多くの人の運動解析が可能となる。研究グループは、「青少年スポーツ選手、競技スポーツの選手からスポーツ愛好家、リハビリや健康ために運動を行う高齢者まで、広い世代の多くの方々に運動解析や筋活動解析を使ってもらえるようになった」と話す。今後は「チーム競技のデジタイズとチームプレイの解析、計算の効率化・高速化、スポーツ・データサイエンティストの養成」などの研究に取り組み、東大発スタートアップでの商用実施を目指すとのことだ。

デジタルツインの社会実装を目指すDataLabsが1.3億円のシード調達、点群データの自動3次元モデリングツールを3月末公開

デジタルツインの社会実装目指すDataLabsが1.3億円のシード調達、点群データの自動3次元モデリングツール公開に向け体制強化

DataLabsは2月16日、シードラウンドとして、第三者割当増資による総額1億3000万円の資金調達の実施を発表した。引受先は、東京大学協創プラットフォーム開発、ディープコア。調達した資金は、点群データの有効活用に向けたプロダクト開発および機能の拡張、それらの開発に適したリサーチエンジニア・ウェブエンジニアなどの人材採用にあてる。

また同社は、点群データの「自動モデリングツール」、三次元データや二次元CAD図面の「クラウド型共有・可視化ツール」の2プロダクトのリリースを近日予定しているという。

まず2月末には、点群データ・三次元モデル・二次元CAD図面などを、誰でも閲覧・共有できる「点群三次元モデル可視化・共有ツール「Linked Viewer」を公開予定。URLの共有のみでブラウザー上で閲覧可能としており、生データをダウンロードすることもできる。デジタルツインの社会実装目指すDataLabsが1.3億円のシード調達、点群データの自動3次元モデリングツール公開に向け体制強化

 

もう1点は、3月末にリリース予定の「点群データの自動モデリングツール「Modely」(モデリー)。計測した点群データをDataLabsのプラットフォームにアップロードすると、クラウド上で自動解析するというもの。対象を画面上でクリックするだけで、自動で寸法精度100%(パラメトリックモデリングを採用した場合)の三次元モデルが完成する。

なお現在、Modelyの要素技術を用いて、現場での配筋状況の自動モデル化による検査の効率化などを目指した実証実験を東日本旅客鉄道と進めているそうだ。鉄道をはじめ、あらゆる施工現場における配筋検査等の効率化のため、全国の建設業界の企業などに向けてサービス展開も図るとしている。

2020年7月設立のDataLabsは、「デジタルツインの社会実装」を通じ最適化された社会の実現に資することをミッションとするスタートアップ。三次元計測のほか、点群データの自動三次元モデリング(BIM/CIM化など)、熱流体や気流、構造解析などの各種シミュレーション(CAE解析)機能をSaaSで展開。UI・UXを充実させ、デジタルツイン実現のハードルを極限まで低減するという。

AWS、モノや環境のデジタルツインが簡単に作れる新サービス「IoT TwinMaker」を発表

米国時間11月30日、AWSのre:Inventカンファレンスにおいて同社はAWS IoT TwinMakerを発表した。この新サービスを使うと、現実世界のシステムのデジタルツインの作成と利用が容易にできるようになる。

デジタルツインとは、例えば建物、工場、生産ライン、設備などを仮想的に表現したもので、実世界のデータを定期的に更新することで、表現したシステムの動作を模倣するものだ。

この新サービスにより、ユーザーはビデオフィードやアプリケーションなどのソースからデータを接続することで、単一のリポジトリにデータを移動させることなく、デジタルツインを作成することができると同社はいう。

「次のAWSサービスの内蔵データコネクタを使用できます。機器や時系列のセンサーデータ用のAWS IoT SiteWise、ビデオデータ用のAmazon Kinesis Video Streams、ビジュアルリソース(例えばCADファイル)やビジネスアプリケーションからのデータの保存用のAmazon Simple Storage Service(S3)です。また、AWS IoT TwinMakerは、他のデータソース(SnowflakeやSiemens MindSphereなど)と併用する独自のデータコネクタを作成するためのフレームワークも提供しています」と、AWSは新サービスに関するブログ記事で説明している。

同社は、デジタルツイングラフが作成されると、ユーザーは物理的環境のコンテキストでデータを可視化したいと考える可能性が高いと指摘している。これに対応するため、AWS IoT TwinMakerは、ユーザーの物理システムの仮想表現と接続されたデータソースの関係を組み合わせたデジタルツイングラフを作成する。これにより、ユーザーは実世界の環境を正確にモデル化することができる。また、ユーザーは既存の3Dモデルをインポートして、工場などの物理的空間の3Dシーンをアレンジすることができる。そこから、接続された機械学習サービスからのインサイトとともに、インタラクティブなビデオやセンサーデータのオーバーレイを追加することもできる。

AWSは、このサービスには、Grafana Labsが提供するオープンなダッシュボードおよび可視化プラットフォームのマネージドサービスである「Amazon Managed Grafana」のプラグインが付属していると指摘する。

AWS IoT TwinMakerは、バージニア州北部、オレゴン州、アイルランド、シンガポールでプレビュー版が提供されており、今後、他のAWSリージョンでも提供される予定だ。

画像クレジット:AWS

原文へ

(文:Aisha Malik、翻訳:Hiroshi Iwatani)

ドラレコの映像からリアルタイムの都市のデジタルツインをつくるNexar

スマートドライブレコーダーで知られるNexarが、Qumra CapitalがリードするシリーズDのラウンドで5300万ドル(約60億4000万円)を調達した。その資金の一部は、クラウドソーシングで一般から提供されたドライブレコーダーの映像から作られ、自動車のOEM各社や都市に提供される、同社の「デジタルツイン」サービスの拡張に充てられる。

このラウンドにはState Farm VenturesやCatalyst、Banca Generali、Valorおよび以前からの投資家であるAtreides Management、Corner Ventures、Regah Ventures、Alephが参加している。

「Nexcarを始めたときから、物理的世界のGoogleになるというビジョンを持っていました。その後、多くのマシンやアルゴリズムが世界に関するデータを必要とするようになり、いずれビジョンどころか必要になると信じています」とNexarのCEOであるEran Shir(エラン・シール)氏は述べている。

Nexarのプロジェクトへの本格的な取り組みは、2019年に立ち上げた「Live Map」で始まった。サービスは、道路のリアルタイムの映像を提供し、コンピュータービジョンを使って工事や標識などの特徴をユーザーに教える。その後Nexarは、このサービスが提供する情報の層や特徴を増やしていった。2015年に創業された同社は、今では毎月1億5000万マイル(約2億4000万km)の道路映像を所有している。

今度の資金はデータの利用しやすさの向上と、ドライブレコーダーからの映像の更新サイクルを数秒に短縮して事故や道路陥没などをすばやく見つけることに使われる。たとえば、ネバダ州南部地方交通委員会はNexarのCityStreamプラットフォームを利用して、工事現場とその前後の交通量を減らしている。

また、シール氏によると、その特徴検出能力により、災害時の道路状況を早く把握可能、冬季には除雪済みの道路がわかるという。

都市行政だけでなく、この映像は自動車企業にも役に立つ。「あなたが自動車関連のOEMなら、Nexar CityStreamの『Autopilot or Supercruise(自動操縦または超高速走行)』を有効にして、障害物や事故や工事などがまったくない、長い道路区間を知ることができる。逆に工事があるときは、終了時にそれらの機能を再有効にできる」とシール氏。

Nexarのデータは、例外的な現象や衝突、異常な道路状況などを見つけられるため、自動運転車のシステムで使われるAIのモデルの訓練にも利用できる。

さらにシール氏は「3年から5年後の自動車がどうなってるか考えると、どれも自律性が極限まで達しているでしょう。そうなると、新しいタイプの地図が必要なはずです。私たちがこれから進んでいく未来には、Googleマップのような地図はもはや役に立たないでしょう」という。

画像クレジット:Nexar

[原文へ]

(文:Aria Alamalhodaei、翻訳:Hiroshi Iwatani)

地球のデジタルツインを開発する豪Blackshark.aiが約22億円を調達、MSのFlight Simulatorにも採用

オーストリアのスタートアップであるBlackshark.ai(ブラックシャーク・エーアイ)は、「Microsoft Flight Simulator」に搭載されている「デジタル地球」を開発した企業だ。同社は、地球のレプリカ技術の開発と拡張のために2000万ドル(約22億円)を調達した。地球の「デジタルツイン」の潜在的な用途は多様で、同社はGoogle(グーグル)のようなマッピング大手より先行している。

2020年の「Flight Simulator」では(100%ではないにしても)完全に横断可能で、驚くほど正確な地球を世界に見せてくれた。TechCrunchは「技術的な驚異」と表現し、それがどうやって作られたのか後に詳細を報じた。

Blackshark.aiは、ゲームスタジオBongfish(ボンフィッシュ)からスピンアウトした会社で、創業者でCEOのMichael Putz(マイケル・プッツ)氏によると、世界構築技術をゲーム環境以外にも応用することを目指している。Blackshark.aiの技術の基本は、機械学習とちょっとした賢い推測、そして大量のコンピューティングパワーを使って、広く利用可能な2D画像を正確な3Dに変えることだ。

基本的にBlackshark.aiのシステムは、最適ではない照明や不完全な画像であっても、さまざまな建物が上からどのように見えるかをしっかりと理解する。Blackshark.aiが構築した機械学習システムは、近隣の環境(住宅地と商業地)、屋根の種類(傾斜した屋根と平らな屋根)、空調設備の有無などの要素を考慮して、不完全な輪郭を推定する。これらすべての情報をもとに、建物のもっともらしい3D再現を行う。

難しいのは、一度だけではなく、定期的に何億回も繰り返して、地球上のすべての建物の最新の3D表現を作成することだ。プッツ氏は次のように説明する。「その作業のためのコンピューティングパワーをすべて購入できたとしても、それを動かすためのバックエンドを構築するのは大変なことです。これは私たちが直面した現実的な問題でした」。

プッツ氏らの解決策は、AIを搭載したサービスによく必要とされるように、最適化だった。同氏によると、地球上のすべての建物の3Dモデルを計算するプロセスは、もともと約1カ月の時間を要していたが、今では約3日で済むようになり、約300倍の加速を実現している。

人工衛星からの新しい画像をもとに定期的に更新できるこのような機能は、Blackshark.aiのビジネス提案にとって非常に重要だとプッツ氏は説明した。GoogleやApple(アップル)の地図に見られるような3D地図データの多くは写真測量をベースにしている。これは、複数の航空写真を組み合わせて、目のように視差データを比較して大きさや奥行きを判断する航空写真で、写真が撮影された時点ではすばらしいデータとなる。

2年前ではなく先週のシカゴのある一角の様子を3Dマップで表現したい、そしてそのレベルの最新情報をできるだけ多くの地球上の人々に提供したい、と考えた場合、現在では衛星画像しか選択肢がない。しかし、そのためには前述の2Dから3Dへの変換が必要になる。

パッツ氏は、Blackshark.aiの3DマップとGoogleやAppleの3Dマップは、表面的には似ているが、実際には競合するものではないと指摘する。リアルな「キャンバス」を提供するという点では同じだが、その意図は大きく異なる。

「Googleマップは、ローカルビジネスのためのキャンバスです。同社とそのユーザーの両方にとって重要なのは、場所、レビュー、道順などです」とパッツ氏は話す。「私たちは、たとえば気候変動のユースケースである洪水についてシアトルの3Dデータを提供していますが、水の物理学や流体シミュレーションを専門とする人たちは、現実世界をキャンバスとして描くことができます。私たちの目標は、検索可能な地球の表面になることです」。

画像クレジット:Blackshark.ai

サンディエゴのとある地区で利用できる平らな屋上の総面積はどれくらいか? 4000平方メートルのスペースが空いている地方空港は? 山火事のリスクがあるエリアは、更新された風モデルとどのように重なっているか? このように、活用法を思いつくのは難しいことではない。

「これは、考えれば考えるほどユースケースが出てくるアイデアの1つです」とプッツ氏は話す。「政府機関、災害救助、スマートシティ、自動車や飛行機などの自律型産業などで応用できます。これらの産業はすべて人工的な環境を必要とします。単に『これをやりたい』ということではなく、必要とされていることでした。そして、この2D-3Dは巨大な問題を解決する唯一の方法なのです」。

今回の2000万ドルのラウンドは、M12(Microsoftのベンチャーファンド)とPoint72 Venturesがリードした。プッツ氏は、アドバイザーとしておなじみの顔ぶれが参加したことに感激した。Google Earthの共同創業者であるBrian McClendon(ブライアン・マクレンドン)氏、Airbus(エアバス)の元CEOであるDirk Hoke(ダーク・ホーク)氏、Y Combinator(Yコンビネーター)の元COOで現在はApplied Intuition(アプライド・インチュイション)のCEOであるQasar Younis(カサール・ユーニス)氏らだ(これらの人々は助言をしているのであって、取締役会に参加しているわけではない)。

事業の拡張はプロダクトを作り上げるというより、市場投入のことだ。もちろん、エンジニアや研究者を増やすことは必要だが「賢いスタートアップ」から「3D合成地球の世界的プロバイダー」になることを急がなければ、他の賢いスタートアップに美味しいところを持っていかれるかもしれない。そこで、営業とサポートのチーム、そして「ハイパースケーリング・コンパニオンの残りの部分」も編成する、とプッツ氏は話した。

同氏が挙げた明白なユースケースの他に、想像できるかと思うが、メタバースアプリケーションの可能性もある。ただし、これはでたらめではなくアイデアだ。ゲームから旅行ガイドまで、おもしろいAR/VR/その他のアプリケーションが、最近レンダリングされた地球のバージョンをベースに、仮想体験をしたいと思えばそれが可能になる。それだけでなく、地球以外の世界も同じ方法で生成することができるため、もしあなたが地球のレイアウトを崩して新しい惑星を作りたいと思ったら(誰がそれを非難できるだろう)、今週中にはそうすることができる。すばらしいことではないか?

新しい資金が使われるようになれば、地球の表面で行われている複雑なマーケットやプロセスの新世代のより詳細なシミュレーションに「Powered by Blackshark.ai」などと表示されるようになるだろう。

画像クレジット:Blackshark.ai

原文へ

(文:Devin Coldewey、翻訳:Nariko Mizoguchi

デジタルツイン関連技術・サービスを展開する企業をまとめた「デジタルツイン 業界カオスマップ」2021年8月版

  1. デジタルツイン関連技術・サービスを展開する企業をまとめた「デジタルツイン 業界カオスマップ」2021年8月版公開

デジタルツインプラットフォームの開発・提供を行うSymmetry Dimensions(シンメトリー・ディメンションズ)は8月19日、2021年8月版「デジタルツイン 業界カオスマップ」を発表した。

2014年10月設立のSymmetry Dimensionsは、空間・都市向けデジタルツイン構築およびプラットフォーム開発を行う企業。空間や都市における人流・交通・IoT・BIM/CIMなど様々な種類のデータをプラットフォーム上で統合・解析することで、誰もが簡単にデジタルツイン上での仮説・検証・計画を行うことを可能にするとしている。

デジタルツインとは、物理空間に存在する場所や事象について、IoTデバイスなどを用いてデータ化しデジタル空間上に再現することで、分析・予測などを可能にする技術。データを活用した業務の最適化を行う方法として、製造業や建設業、スマートシティなど様々な分野での活用に注目が集まっているという。

同社は、2021年8月版「デジタルツイン 業界カオスマップ」とともに、デジタルツインの市場動向およびテクノロジーのうち、特にトレンドとなっている注目すべき重要なキーワードを解説している。

「オープンデータ」の加速

デジタルツインやスマートシティを構築する基盤として、世界中の国や自治体でオープンデータ化の取り組みが加速している。米国政府機関や州・都市などが保有する公共データを一元的に管理提供する「Data.gov」では、2009年の発足当初47件だったデータが、現在では6570倍の約31万件に増大。日本国内では2021年3月に公開された国土交通省の3D都市モデル「Project PLATEAU」(プロジェクト・プラトー)、静岡県の3D点群(Pointcloud)データベース「Virtual Shizuoka」など、3Dデータを中心としてオープンデータ化が進んでいる。

「製造」「建設」業界が先行するデジタルツイン

従来から3Dデータを利用していた製造・建設業界は、デジタルツイン化への対応も早く、これらのニーズに応じたデジタルツイン構築やサービス提供を行う企業が増加している。また、製造業界では自社開発でシステム化を進める企業が多く見られる一方、建設業界では外部テクノロジー企業との協業によるシステム化を進める傾向にある。建設業界においては、今後もスタートアップをはじめとした様々な企業からデジタルツイン開発への参入が活発になるとしている。

業界を横断した「汎用型」プラットフォーム(Cross-Industry)

スマートシティに代表される都市型デジタルツイン領域では、業界を横断した汎用型のデジタルツインプラットフォームが登場。これは、IoTセンサーの普及による現実空間のデータ収集が増大したこと、iPhoneをはじめ身近な製品がLiDARセンサーを採用するなど現実世界をデータ化する流れが加速していることで、従来は3Dデータを使用していなかった企業においてもデジタルツインの構築・利用が可能になってきたためという。

「マルチエクスペリエンス」

デジタルツインの活用では、企業や組織のあらゆる関係者が、場所を問わず、より迅速に現在の状況を把握・共有し、次の行動につながる意思決定を行う必要があるという。Symmetry Dimensionsは、そのためウェブブラウザー・スマートフォン・xR(拡張現実、複合現実)を組み合わせたマルチエクスぺリンス化が加速するとしている。ウェブブラウザーを基点としたクラウドベースのデジタルツインプロダクトは今後さらに増大するという。

デジタルとフィジカルの双方向での共有・連携

現実空間の位置情報に基づき、永続的に情報を保存し、ユーザー間での共有を可能にする技術である「AR Cloud」の進化と、コロナ禍により、あらゆる業務の「デジタルファースト」のプロセスが加速し、デジタルツインと物理空間の双方向でのデータ共有・連携が進むという。これによりデジタルツイン上で行われた意思決定の迅速な現場への反映と、最適化された従業員エクスペリエンスを提供をするようになるとしている。

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作しタレント活動促進

サイバーエージェントは8月2日、タレントやアーティストなど著名人の公式3D CGモデルを制作し、著名人の「分身」となるデジタルツインをキャスティングするサービス「デジタルツインレーベル」を芸能事務所および著名人向けに開始した。デジタルツインモデル1人目は、世界的トップモデルの冨永愛さん。2023年までに著名人500人のデジタルツインの制作およびキャスティングを目指し、デジタル空間における様々な活動を促進する。

冨永さんの分身となるデジタルツインは、顔のみならず冨永さんの全身を3Dスキャンしたものという。表情豊かな静止画だけでなく、バーチャルファッションショーでウォーキングをしたり、本人の音声を合成したりするなど、動きのある映像出演も可能。メタヴァース空間での新たなブランディング構築に挑戦するとしている。

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作しタレント活動促進

サイバーエージェントは、AI・CG技術の進化によりデジタル空間における活動の幅が今後さらに拡がると考えられる中、新しい価値を生み出す「人のデジタルツイン」の可能性を追求し、デジタル空間だからこそ作ることができる表現に挑戦するとともに、企業のマーケティング活動の拡大に貢献するとしている。同社は公式3D CGデータ制作に加え、広告プロモーションなどへのCGキャスティングや、デジタルツインを起用した企画立案などを実施する。フィジカル空間での本人の活躍に加え、デジタル空間でのデジタルツインのタレント活動が正しく成立する活躍の場を拡大するとともに、新しい価値づくりに取り組む。

著名人側は、デジタルツインを制作することで、本人同士の対談やドラマやCMなどにおいて未来・現在の姿での映像共演ができるようになるほか、アスリートの場合であれば世界中を巡り試合を行っているオンシーズンでもCM撮影ができるなど、物理的な制限から解放されたタレント活動が可能になるとしている。ダンスや音楽の演奏など本人のスキルを拡張した表現などもCG技術で実現可能という。

同時にサイバーエージェントは、健全なマーケット作りを目的に、ディープフェイクの悪用を検知する研究にも積極的に取り組んでいるそうだ。公式3D CGモデルはガイドラインに則って制作・管理を実施、著名人の偽物を発見する技術に投資しフェイクデータの検知・摘発を行うことで、著名人の著作権や肖像権の保護、各メディアの信頼性の確保、技術の正しい社会実装および発展に努めるとしている。

デジタルツイン制作過程では、事前に著名人の全身の3D CGデータを3Dスキャン技術を用いて取得し、身体的特徴を捉えるモーションデータ・音声データなどと合わせて、本人の「分身」となる高精細なデジタルツインを制作。これを高クオリティで実現するには、顔・体を高精細に表現するコンピューターグラフィックス技術、コンピュータービジョンによる高品質な人物キャプチャ技術、本人らしい声を自在に再現する音声信号処理技術、映像と音声を一致させて動作を表現するリップシンク技術など、最先端の機械学習手法を取り入れた高度なAI映像表現の技術が重要という。

このため公式3D CGモデルは、同社AI技術研究組織「AI Lab」と、子会社でフォトグラメトリー技術やデジタルヒューマンなどCG制作を強みとするCyberHuman Productionsとがともに制作している。

AI技術の研究開発に加え、高精細な3Dフェイシャルスキャン撮影が可能な出張型3DCGスキャンカー「THE AVATAR TRUCK」「全身3Dスキャンシステム」、カメラやセンサーによって顔や身体の動きの特徴をとらえる「モーションキャプチャシステム」と、それらで取得した大量の人物データと技術を組み合わせることが鍵となるとしている。サイバーエージェントの多岐にわたる技術資産を活かし、さらなる高クオリティな表現を目指すそうだ。

関連記事
500円・約15分間の収録で自分の声によるAI音声合成を可能にする「CoeFont CLOUD」が先行公開を開始
アンソニー・ボーディン氏の最新ドキュメンタリー「Roadrunner」にはディープフェイク音声が使われている
AIチャットボット「りんな」のrinnaとUneeQを日本展開するデジタルヒューマンが協業、顔・声・視聴覚を持つ雑談AI実現
KDDIがバーチャル人間「coh」発表、5Gの超低遅延技術を活用したリアルタイムクラウドレンダリング採用
高さ2mの65型有機ELディスプレイで等身大のAIキャラによる接客実現、Gateboxが法人向け大型召喚装置
Epic Gamesが超リアルなキャラを柔軟に制作できるUnreal Engineの3Dツール「MetaHuman」披露
「ホリエ・ロイド・タカフミ」などバーチャルヒューマン事業を手がける1SECが累計約2.7億円を調達
フォトリアルな3D CGによるバーチャルヒューマンのプロデュースを展開するAwwが1億円を調達

カテゴリー:ネットサービス
タグ:サイバーエージェント(企業)CyberHuman Productions(企業)3D / 3Dモデル(用語)デジタルツイン(用語)日本(国・地域)

東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

東京大学 大学院情報学環 渡邉英徳研究室は7月26日、ユーカリヤ(Eukarya)と共同で汎用的WebGISプラットフォーム「Re:Earth」(リアース)を開発し、オープンソースソフトウェア(OSS)としてGitHub上で公開したと発表した。ライセンスは「Apache License 2.0」。行動規範(Code of Conducts)も公開している

また成果報告イベントとして、「最新Web技術による拡張可能なWebGIS「Re:Earth」OSS化イベント」が開催予定となっている(オンラインのみ。Zoom利用)。開催期日は8月10日19時〜21時。Re:Earthの解説、エンジニア・非エンジニア向けハンズオンセッションが実施される。申し込みは、こちら

Re:Earthの特徴

  • 実用性「ノンコードによる情報のマッピング」:Re:Earthは、専門技術なしでも扱うことができ、独自のウェブアプリの公開が可能。情報の作成や更新・公開設定などをエンジニアに依頼したり、難しいプログラミングを行う必要はない。物語性のある「ストーリーテリング」タイプのビジュアライゼーションも、コーディングなしに実現できるという
  • 独自性・新規性「様々な分野に対応できるプラグインシステム」:、最先端のウェブ技術を用いたプラグインシステムを実装しており、様々な分析や可視化がプラグインにより柔軟に対応できる。また、プラグインシステムにより、クライアントがノンエンジニアであっても管理・運用可能なシステムを実現
  • 実用性・新規性「柔軟なウィジェット配置システム」:デジタルアースをベースとして、統計グラフや時系列などの表現を柔軟なウィジェット配置システムによって実現できる。ウィジェットは、ドラッグ&ドロップ操作で直感的に配置可能。スマートフォンでの表示もサポート
東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

統計グラフや時系列などの表現を柔軟なウィジェット配置システムによって実現できる。ウィジェットは、ドラッグ&ドロップ操作で直感的に配置可能

Re:Earthは、フィジカル空間の情報をバーチャル空間に再現する「デジタルツイン」の基盤となるWebGISプラットフォーム。WebGISは、ネット上で利用可能な地理情報システム(GIS)を指す。東大渡邉英徳研究室は、そのソースコードを様々な分野で自由に活用可能にするためにOSSとして公開した。

同研究室は、これまで「Google Earth」や「Cesium」などのデジタルアースを用いて平和活動・企業間取引・震災・文化財な様々な分野のデータをバーチャル空間に分析・可視化する研究を行っており、これまでの研究で得た知見を多くの人たちに提供するウェブプラットフォーム化を目指して、ユーカリヤと共同でRe:Earthを開発したという。

Re:Earthの目標としては、「複雑・大規模化する地理空間(フィジカル空間)データの手軽な活用環境の提供」「地理空間データの管理・分析・可視化のための汎用WebGISの実現」「多様な分野に向けたプラグイン開発による機能拡張」の3点が挙げられている。

東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

南アルプス市ふるさと〇〇博物館(東京大学渡邉英徳研究室制作、ユーカリヤ技術協力)

東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

経営危機自治体(ユーカリヤ制作、東京大学渡邉英徳監修)

Re:Earthは、最新のウェブ技術を用いて開発されており、これまでウェブブラウザーでは実現が困難だった本格的なGIS環境を、インストール不要でどこからでも手軽に利用可能。また今回OSS化したことにより、本体・プラグインの開発者を含む、世界各国のエンジニアとワールドワイドなOSSコミュニティを形成する計画を進めるという。

なおRe:Earthは、以下技術を用いているほか、今後AWSを含む、対応する外部サービスを拡張する予定。

東京大学が「デジタルツイン」構築向けWebGISプラットフォーム「Re:Earth」をオープンソースとして公開

  • フロントエンド:React・TypeScript・Cesium・Resium(生産性向上・高品質なUI開発)
  • バックエンド:Go(高生産性・高速実行・高ポータビリティ)
  • API:GraphQL(高効率・スキーマドリブンな通信)
  • クラウド関連:Docker・Google Cloud Storage(保守管理コスト削減・スケーラブル)
  • DBMS:MongoDB(高速で高い柔軟性を持つNoSQLデータベース)
  • 認証:Auth0(IDaaS)
  • フロントエンドのプラグイン実行環境:WebAssembly+QuickJS(安全高速なJavaScriptの実行)

関連記事
​防災テック領域スタートアップのSpecteeが鹿児島県薩摩川内市で発生した河川の氾濫・被害状況をAIで可視化
BIMやCIMなどデジタルツインへの位置情報統合に道筋、Cellidが独自ARによる建設作業員の3次元位置情報の取得に成功

カテゴリー:ソフトウェア
タグ:WebGIS(用語)Cesium(製品・サービス)デジタルツイン(用語)東京大学(用語)日本(国・地域)

​防災テック領域スタートアップのSpecteeが鹿児島県薩摩川内市で発生した河川の氾濫・被害状況をAIで解析・可視化

  1. ​防災テック領域スタートアップのSpecteeが鹿児島県薩摩川内市で発生した河川の氾濫・被害状況をAIで解析・可視化

​防災テック領域スタートアップのSpectee(スペクティ)は7月12日、鹿児島県薩摩川内市で2021年7月10日に発生した河川の氾濫による浸水状況について、AIでリアルタイムに解析し地図上にシミュレーションを行ったと発表した。

現在同社では、AIを用いて、SNSに投稿された画像や河川カメラ・道路カメラの映像から浸水深を自動的に割り出し、降水量・地形データなどと組み合わせて統合的に解析することで、氾濫発生から10分以内に浸水範囲と各地の浸水深を2D・3Dの地図上に表示する技術の開発を進めているという。被害状況をわかりやすく可視化することで、災害対応の迅速化に役立てていくことを目指しているそうだ。現在同技術を通じ得られる、各地点における詳細な緯度経度情報や浸水深(推定値)などのデータの提供を行っており、学術研究や企業の実証実験などで利用できるとしている。

7月10日に発生した鹿児島県薩摩川内市を流れる川内川・支流で発生した氾濫についても、開発中のAIによるリアルタイム浸水推定技術を用いて、SNSに投稿された画像を基に、浸水の推定範囲および深さを地図上にシミュレーションを実施した。ただし、掲載した図は同技術に基づいた推定値としており、現在同技術の開発と並行して精度検証を行っているという。

Specteeは、AI防災・危機管理ソリューション「Spectee Pro」を中心に、AIなど最先端技術を活用したビッグデータ解析を通して、災害関連情報や企業のリスク情報などをいち早く提供する他、デジタルツイン技術による被害のシミュレーションや予測などを実施。「危機を可視化する」をスローガンに、すべての人が安全で豊かな生活を送れる社会の創造を目指している。

関連記事
AI防災・危機管理ソリューションのSpecteeが水害発生時浸水範囲のリアルタイム3Dマップ化に成功
福岡県がAIリアルタイム危機管理情報のSpectee Proを採用、災害対応に活用
画像解析で降雪量や路面状態を自動判別、Specteeが日本気象協会と共同開発へ

カテゴリー:パブリック / ダイバーシティ
タグ:SNS / ソーシャル・ネットワーキング・サービス(用語)AI / 人工知能(用語)自然災害 / 火災(用語)Spectee(企業)天気・天候・天気予報(用語)デジタルツイン(用語)日本(国・地域)

BIMやCIMなどデジタルツインへの位置情報統合に道筋、Cellidが建設現場において独自ARによる3次元位置情報の取得に成功

Cellidは5月26日、大林組の建設現場において、独自のAR技術「Cellid SLAM」を用い、作業員の3次元位置情報の取得に成功したと発表した。

今回の実証実験の目的は、「屋内外の大規模・複雑な構造を備える建設現場において、汎用単眼カメラを装着して巡視する職員の移動経路を3次元の動線として把握できるか」「BIM/CIMを含むデジタルツイン・プラットフォームとSLAMで取得した3次元位置情報を統合することで、安全管理や労務管理のためのツールとして発展する可能性があるか」を検証するものだ。BIM(Building Information Modeling)は、3次元の形状情報、材料・部材の仕様・性能・コスト情報など建物の属性情報を備える建物情報モデル。CIM(Construction Information Modeling)は、土木分野において国交省が提言した建設業務の効率化を目的とした取り組み。計画・調査・設計段階から3次元モデルを導入し、施工・維持管理の各段階でも連携・発展させ、事業全体で関係者間で情報を共有するというもの。

一般に、レーザーや赤外線を活用するSLAM技術(自己位置推定と周辺環境の地図を同時に実行する技術。Simultaneous Localization and Mapping)は、専用センサーを必要とすることから、デバイス費用が高額、かつセンサーの設置のためのスペースや電源供給に課題があった。またセンサーの代わりに画像データを活用する研究も進められているものの、膨大な計算負荷に加え、現場での活用に耐える精度の確保が難しく、実装には至っていないという。

一方Cellid SLAMの空間認識アルゴリズムは、すでに現場に導入されている汎用単眼カメラの映像のみを入力情報とする。そして今回、非GNSS環境を含む大規模な建設現場において、GNSS(全球測位衛星システム)やビーコンといった従来の自己位置推定技術を上回る測位精度を発揮することが確認された。

Cellidは今後、BIM/CIMなどから構築されたデジタルツイン上にウェアラブルカメラを装着した作業員などの位置情報を反映し、情報の統合を進めるとしている。また、同一現場で同時に複数の作業員がウェアラブルカメラを装着・撮影することで、位置情報だけではなく、大規模な現場の点群データなどをスピーディに収集することも可能となる。

そして将来的には、位置測位技術とAR技術などとを組み合わせることで「AR付箋」などの早期実現も期待できるとしている。AR付箋は、現実空間の特定の3次元位置に「作業ガイド」や「注意事項」を、デジタルツイン側からの入力により、設置するサービスという。

関連記事
テスラの北米向けModel 3とModel Yがレーダー非搭載に
AI防災・危機管理ソリューションのSpecteeが水害発生時浸水範囲のリアルタイム3Dマップ化に成功
Proxima Technologyが単眼・ステレオカメラ対応の深層学習を用いた高精度visual SLAM技術「DVF SLAM」開発
Preferred Networksと鹿島建設が建築現場用ロボ向けAI搭載自律移動システム開発、GNSS計測不可の屋内も対応

カテゴリー:VR / AR / MR
タグ:拡張現実 / AR(用語)建設 / 建築(用語)コンピュータービジョン(用語)CIM(用語)Cellid(企業)SLAMデジタルツイン(用語)土木(用語)BIM(用語)日本(国・地域)