Nianticが3D-LiDARスキャンアプリのScaniverseを買収

Nianticはこの世界の3Dマップを作るクエストを進めている。

米国時間8月10日、同社はオブジェクトと周囲を高解像度3DでスキャンするiPhoneおよびiPad用アプリのScaniverseを買収したと発表した。

Nianticの担当者は筆者に対し、Scaniverseアプリは今後もApp Storeで公開され、スタンドアローンのアプリとして引き続きサポートする予定だと述べた。高解像度の処理やモデルを他の3Dソフトウェアに書き出すなど、これまで年額17ドル(日本では1950円)だった「Pro」のサブスクリプションに限定されていた機能は無料になった。

2019年3月に筆者が初めて記事にしたとおり、Nianticのゴールの1つは詳細で無限に進化する3Dマップを作ることだ。3Dマップは、ARメガネのようなものが受け入れられるとすれば、そのときにリアルでリッチなAR体験を可能にするための基盤となるステップだと同社は考えている。相当大がかりな(そして終わることのない)タスクではあるが、「ポケモンGO」や「ハリー・ポッター:魔法同盟」、「Ingress Prime」といったゲームであちこち歩き回っているプレイヤーたちがいるので少しは実現しやすい。

この買収にともない、ScaniverseのクリエイターであるKeith Ito(キース・イトー)氏がNianticのARチームに加わる。その他の買収の条件は明らかにされていない。Nianticは2020年3月に金額非公開で6D.aiを買収しており、今回は3Dマッピング分野での最新の買収だ。

参考までに、Scaniverseアプリのデモ動画を紹介する。

関連記事
NianticがARスタートアップの6D.aiを買収してアップルとFacebookに対抗
ポケモンGOの新型コロナ対策ボーナス廃止を受けインフルエンサーたちがボイコットを示唆
ポケGOスタイルの「トランスフォーマー」ARゲームをNianticがタカラトミー、ハズブロと開発中、事前登録開始

カテゴリー:VR / AR / MR
タグ:NianticポケモンGO買収3D3DスキャンScaniverse拡張現実3D-LiDAR

画像クレジット:Nigel Sussman

原文へ

(文:Greg Kumparak、翻訳:Kaori Koyama)

ガイアックスが日本初の「スマートシティ実現に向けたLiDARデータ活用アイデアソン&ハッカソン」を9月30日開催

ガイアックスが日本初の「スマートシティ実現に向けたLiDARデータ活用アイデアソン&ハッカソン」を9月30日開催

ガイアックスと芝浦工業大学は8月5日、LiDARをテーマとした「スマートシティ実現に向けたLiDARデータ活用アイデアソン&ハッカソン」を9月30日に開催すると発表、参加者の募集を開始した。

LiDARとは、光を使って検知や測距を行うシステムのこと。電波を使うレーダーに対して「ライダー」と呼ばれる。このイベントでは、京都市内の10地点で数カ月間にわたりLiDARで取得した交差点、幹線道路、駐車場の3Dデータを使ってアイデアを競い合う。内容は、「新規事業のアイデアを創出することを目的としたアイデアソン」と、「ディープラーニングによる分析により新たなナレッジを創出することを目的としたハッカソン」に分かれている。その結果は、京都市の交通混雑、交通事故、路上犯罪の対策に役立てられることが期待されている。LiDARで実際に取得した画像「動的LiDARデータ」を使ったアイデアソンやハッカソンは、ガイアックスによれば日本初の取り組みとのこと。

共催者には、エクサウィザーズ、京都リサーチパーク、京都高度技術研究所(ASTEM)が参加。後援者には、エースコード、データサイエンティストの古屋俊和氏 (エクサウィザーズ創業者およびQuantum Analytics CEO)、京都大学桂図書館が参加している。

LiDARの開発の競争は100社以上に激化しており、応用についても2021年2月Google TensorFlow 3Dの発表、2021年6月の「3D-LiDAR活用ビジネスを創出するスマートセンシングアライアンス」の設立に代表されるとおり、今後急速な活発化が予想されるという。エンジニアや学生が同イベントに参加することで、今後のキャリアパスやキャリアアップにつながると考えているという。

概要

  • 開催日時:2021年9月30日9:00〜18:30
  • 対象者:学生、社会人で下記の参加要件を満たす方
  • 参加要件
    ・LinuxのCUI操作に関する基礎的知識とスキルを有すること
    ・プログラミング言語の基礎的知識とスキルを有すること
    ・機械学習プログラミングに関する基礎的知識とスキルを有すること
    ・Dockerに関する基礎的知識を有すること
    ※3DデータやAI未経験者歓迎
  • 参加費:無料
  • 募集人数:最大30チーム
  • 収容人数:京都会場10名、東京会場10名、オンライン会場50名
  • 開催形態:オンラインと会場のハイブリッド
  • 会場
    ・京都会場 京都リサーチパーク KRP1号館4階 G会議室(京都市下京区中堂寺南町134)
    ・東京会場 芝浦工業大学豊洲キャンパス研究棟14階 新熊研究室(東京都江東区豊洲3丁目7-5)
    (新型コロナウイルスの感染拡大状況によっては完全オンラインになる可能性もある)
  • 参加形態:最大3名のチーム。1名で参加も可能だが、複数チームを兼ねての参加は不可
  • 入賞特典:入賞したチームには下記の特典を付与
    ・最優秀賞 / 賞金20万円 1件
    ・ガイアックス特別賞 / ガイアックスでのエンジニアインターンの権利 最大1件
    ・データサイエンティスト古屋俊和 特別賞 最大1件など

ガイアックスの技術開発部マネージャー、日本ブロックチェーン協会理事の峯荒夢氏は、こう話している。
「人間は道具を使うことより食料調達を効率化し、節約できた時間でさらなる進化をしてきました。スマートシティはデータを使った効率化による人間の進化を引き起こすものだと私は考えています。本アイデアソン・ハッカソンでは、LiDARを軸にその新たな効率化そして人間の進化の一歩となることを期待しています」。

関連記事

iOSアプリ開発者に訊く:LiDARで空間を演出するアプリ「Effectron」 (アフェクション)
Proxima Technologyが単眼・ステレオカメラ対応の深層学習を用いた高精度visual SLAM技術「DVF SLAM」開発
テスラのライバルNIOにLiDARを供給する中国Innovusionがシンガポール政府系ファンド主導で69.5億円調達
エアバスとLuminarが提携を発表、LiDARを使い航空機の自動操縦や安全向上を目指す
ガイアックスが完全オンラインの起業支援開始、地方在住スタートアップを募集
NASAやJAXAが5月末に新型コロナ対策ハッカソンを共同開催

カテゴリー:イベント情報
タグ:ガイアックス(企業)機械学習 / ML(用語)芝浦工業大学(組織)3D / 3Dモデル(用語)3D-LiDAR(用語)TensorFlowDocker(企業・サービス)ハッカソン(用語)プログラミング(用語)LiDAR(用語)Linux(製品・サービス)日本(国・地域)

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作しタレント活動促進

サイバーエージェントは8月2日、タレントやアーティストなど著名人の公式3D CGモデルを制作し、著名人の「分身」となるデジタルツインをキャスティングするサービス「デジタルツインレーベル」を芸能事務所および著名人向けに開始した。デジタルツインモデル1人目は、世界的トップモデルの冨永愛さん。2023年までに著名人500人のデジタルツインの制作およびキャスティングを目指し、デジタル空間における様々な活動を促進する。

冨永さんの分身となるデジタルツインは、顔のみならず冨永さんの全身を3Dスキャンしたものという。表情豊かな静止画だけでなく、バーチャルファッションショーでウォーキングをしたり、本人の音声を合成したりするなど、動きのある映像出演も可能。メタヴァース空間での新たなブランディング構築に挑戦するとしている。

著名人対象に公式3D CGモデル「デジタルツイン」を制作・管理・キャスティングするサービス開始、2023年までに500人制作しタレント活動促進

サイバーエージェントは、AI・CG技術の進化によりデジタル空間における活動の幅が今後さらに拡がると考えられる中、新しい価値を生み出す「人のデジタルツイン」の可能性を追求し、デジタル空間だからこそ作ることができる表現に挑戦するとともに、企業のマーケティング活動の拡大に貢献するとしている。同社は公式3D CGデータ制作に加え、広告プロモーションなどへのCGキャスティングや、デジタルツインを起用した企画立案などを実施する。フィジカル空間での本人の活躍に加え、デジタル空間でのデジタルツインのタレント活動が正しく成立する活躍の場を拡大するとともに、新しい価値づくりに取り組む。

著名人側は、デジタルツインを制作することで、本人同士の対談やドラマやCMなどにおいて未来・現在の姿での映像共演ができるようになるほか、アスリートの場合であれば世界中を巡り試合を行っているオンシーズンでもCM撮影ができるなど、物理的な制限から解放されたタレント活動が可能になるとしている。ダンスや音楽の演奏など本人のスキルを拡張した表現などもCG技術で実現可能という。

同時にサイバーエージェントは、健全なマーケット作りを目的に、ディープフェイクの悪用を検知する研究にも積極的に取り組んでいるそうだ。公式3D CGモデルはガイドラインに則って制作・管理を実施、著名人の偽物を発見する技術に投資しフェイクデータの検知・摘発を行うことで、著名人の著作権や肖像権の保護、各メディアの信頼性の確保、技術の正しい社会実装および発展に努めるとしている。

デジタルツイン制作過程では、事前に著名人の全身の3D CGデータを3Dスキャン技術を用いて取得し、身体的特徴を捉えるモーションデータ・音声データなどと合わせて、本人の「分身」となる高精細なデジタルツインを制作。これを高クオリティで実現するには、顔・体を高精細に表現するコンピューターグラフィックス技術、コンピュータービジョンによる高品質な人物キャプチャ技術、本人らしい声を自在に再現する音声信号処理技術、映像と音声を一致させて動作を表現するリップシンク技術など、最先端の機械学習手法を取り入れた高度なAI映像表現の技術が重要という。

このため公式3D CGモデルは、同社AI技術研究組織「AI Lab」と、子会社でフォトグラメトリー技術やデジタルヒューマンなどCG制作を強みとするCyberHuman Productionsとがともに制作している。

AI技術の研究開発に加え、高精細な3Dフェイシャルスキャン撮影が可能な出張型3DCGスキャンカー「THE AVATAR TRUCK」「全身3Dスキャンシステム」、カメラやセンサーによって顔や身体の動きの特徴をとらえる「モーションキャプチャシステム」と、それらで取得した大量の人物データと技術を組み合わせることが鍵となるとしている。サイバーエージェントの多岐にわたる技術資産を活かし、さらなる高クオリティな表現を目指すそうだ。

関連記事
500円・約15分間の収録で自分の声によるAI音声合成を可能にする「CoeFont CLOUD」が先行公開を開始
アンソニー・ボーディン氏の最新ドキュメンタリー「Roadrunner」にはディープフェイク音声が使われている
AIチャットボット「りんな」のrinnaとUneeQを日本展開するデジタルヒューマンが協業、顔・声・視聴覚を持つ雑談AI実現
KDDIがバーチャル人間「coh」発表、5Gの超低遅延技術を活用したリアルタイムクラウドレンダリング採用
高さ2mの65型有機ELディスプレイで等身大のAIキャラによる接客実現、Gateboxが法人向け大型召喚装置
Epic Gamesが超リアルなキャラを柔軟に制作できるUnreal Engineの3Dツール「MetaHuman」披露
「ホリエ・ロイド・タカフミ」などバーチャルヒューマン事業を手がける1SECが累計約2.7億円を調達
フォトリアルな3D CGによるバーチャルヒューマンのプロデュースを展開するAwwが1億円を調達

カテゴリー:ネットサービス
タグ:サイバーエージェント(企業)CyberHuman Productions(企業)3D / 3Dモデル(用語)デジタルツイン(用語)日本(国・地域)

Epic Gamesが3Dモデル共有プラットフォームのSketchfabを買収

ニューヨークを拠点とするスタートアップ企業のSketchfab(スケッチファブ)が「Fortnite(フォートナイト)」や「Unreal Engine(アンリアル・エンジン)」の開発元として知られるEpic Games(エピック・ゲームズ)に買収された

Sketchfabは3Dアセットをアップロード、ダウンロード、閲覧、共有、販売、購入するためのプラットフォームを構築してきた。これは本質的に、ウェブ上における3Dファイルの主要な貯蔵庫となっている。

Epic Gamesは今回の買収の条件を明らかにしていない。Sketchfabは今後も別のブランドとして運営・提供されていく。Epic Gamesによると、Unity(ユニティ)を含むサードパーティ製ツールとの統合はすべて継続して利用できるとのことだ。

Epic Gamesがこれまで、最も人気が高い制作ツールをいくつか開発あるいは買収してきたことを考えれば、今回の取引は理に適っている。Unreal Engineは、過去20年ほどの間で最も人気のあるビデオゲームエンジンの1つだ。

最近では、このUnreal Engineはビデオゲーム以外にも、特殊効果、仮想世界の3D探検、複合現実プロジェクトなど、さまざまな用途に使用されている。

しかし、アセットのないエンジンは使い物にならない。そのため、クリエイターは自分で2Dや3Dのアセットをデザインするか、そのプロセスを外注するか、あるいはアセットを直接購入する。これによってアセットとクリエイターによる1つのエコシステムが形成される。

Epic Gamesは独自のUnreal Engineマーケットプレイスを持っているが、Sketchfabは、テクノロジー、リーチ、コラボレーションを3つの重要な柱として、決定的な3Dマーケットプレイスの構築に長年取り組んできた。

テクノロジー面については、Sketchfabでは3Dモデルをあらゆるプラットフォームで見ることができる。Sketchfabのビューアーは、デスクトップとモバイルの両方の主要なブラウザで動作し(Sketchfabのサイトでその一例を見ることができる)、VRヘッドセットにも対応している。3Dモデルは、Blender(ブレンダー)、3ds Max(スリーディーエスマックス)、Maya(マヤ)、Cinema 4D(シネマフォーディー)、Substance Painter(サブスタンス・ペインター)など、自分の好みの3Dモデリングアプリからアップロードできる。

Sketchfabでは、あらゆるフォーマットをglTFやUSDZのファイルフォーマットに変換できる。これらのフォーマットは、AndroidやiOSで特に効果を発揮する。

次にリーチに関しては、Sketchfabは長年にわたって驚異的な成長を遂げてきた。2018年に同社は10億ビュー、200万メンバー、300万3Dモデルという指標を掲げ、クリエイターがプラットフォーム上で直接アセットを売買できるようにストアを起ち上げた。

最後にコラボレーションについて。Sketchfabは、常に3Dモデルを扱う企業にとって興味深い機能となるSketchfab for Teams(スケッチファブ・フォア・チーム)を、2020年に導入した。これは、Sketchfabのアカウントをチームの他のメンバーと共有できるSoftware-as-a-Service(サービスとしてのソフトウェア)で、基本的にはGoogle Drive(グーグル・ドライブ)の共有フォルダのように機能し、3Dモデルを共有することができる。

今回の買収に伴い、Epic Gamesはすぐにいくつかの変更を行った。まず、Sketchfabのストアで課せられる手数料が、これまでの30%からEpic Games Storeと同じ12%に引き下げられた。同社はArtStation(アートステーション)を買収した直後にも、同じようにArtStationの手数料を引き下げている。

月額利用料を支払っているSketchfabユーザーにとっては、すべてが少し安くなった。従来のPlus(プラス)プランのすべての機能は無料で利用できるようになり、Pro(プロ)プランのすべての機能はPlusプラン加入者に提供されるようになるなどだ。

「私たちは創造性の新時代に力を与え、クリエイターがオンラインで作品を披露したり、3Dコンテンツにアクセスできるサービスを提供することを使命として、Sketchfabを設立しました」と、Sketchfabの共同設立者でCEOを務めるAlban Denoyel(アルバン・デノワイエ)氏は発表の中で述べている。「Epicと一緒になることで、私たちはSketchfabとその強力なオンラインツールセットの開発を加速させることができ、ひいてはクリエイターにより優れた体験を提供できるようになります。Epicと協力してメタバースの構築に取り組み、クリエイターが自分の作品をさらに発展させることができるような環境を作れることを誇りに思います」。

ArtStationとCapturing Reality(キャプチャリング・リアリティ)の買収に続き、Epic Gamesは買収を活発化させている。同社がゲーム業界向けにエンド・ツー・エンドの開発者スイートを構築したいと考えていることは明らかだ。

関連記事
Epic GamesがアーティストコミュニティのArtStationを買収、直ちに手数料を12%に引き下げ
Epic Gamesが写真測量ソフトウェアメーカーのCapturing Realityを買収

カテゴリー:ソフトウェア
タグ:Epic Games買収3D

画像クレジット:Sketchfab

原文へ

(文:Romain Dillet、翻訳:Hirokazu Kusakabe)

ZOZO、プロバスケクラブ「アルティーリ千葉」、千葉大学が「ZOZOSUIT 2」を活用した共同取り組みの開始発表

ZOZO、プロバスケクラブ「アルティーリ千葉」、千葉大学が「ZOZOSUIT 2」を活用した共同取り組みの開始発表

「ZOZOTOWN」(ゾゾタウン)を運営するZOZO(ゾゾ)、プロバスケットボールクラブ「アルティーリ千葉」、千葉大学は7月19日、ZOZOが開発した計測テクノロジー「ZOZOSUIT 2」(ゾゾスーツ・ツー)を活用した取り組みを開始すると発表した。ZOZOSUIT 2のスポーツ分野での活用の可能性を探り、3者が拠点を置く千葉県への地域貢献を目指すという。

旧「ZOZOSUIT」は、2017年に発表された、スマートフォンを使って身体の3D採寸ができる画期的な体型計測用ボディースーツ。最大1000万スーツを無料配布するとのことで話題になった。これに続き2020年10月に発表されたZOZOSUIT 2は、さらにその精度を高めたもの。スマートフォンでレーザースキャナーに匹敵する精度で身体の3D計測が行える。

アルティーリ千葉のブランドパートナーにZOZOが加わり、アルティーリ千葉がZOZOSUIT 2の計測テクノロジーを活用した新サービス共創のパートナー募集に興味を示したことから、さらにZOZOとの包括的連携協定を結んでいる千葉大学も加わって、3者の取り組みが始まった。

ここでは、アルティーリ千葉の所属選手の体型を「ZOZOSUIT 2」で計測し、そのデータを千葉大学大学院医学研究院整形外科学および千葉大学フロンティア医工学センターの知見を活かして分析し、選手のパフォーマンス向上やケガの予防に役立てる可能性を探るという。この取り組みは、2021年8月1日から開始される。

関連記事
NTTSportictがアマチュアスポーツの自動撮影・自動配信が可能な「Stadium Tube Lite」を発表
味の素が一般アスリート・部活生向け自動献立提案AIアプリ「勝ち飯AI」β版を開発、限定ユーザーテスト開始
生徒が泳ぐ姿を4K撮影、水泳上達につなげるスイミングスクール向けスマートレッスンシステム
ZOZOTOWNにコスメ専門モール登場、肌色が計測できるメガネ型端末「ZOZOGLASS」を同時リリース
Googleとプレミアリーグ所属マンチェスター・シティ主催のサッカーAIコンペで、日本人チームが5位入賞
ZOZO研究所のファッションコーデ関連論文がコンピュータービジョンの国際会議ECCVで採択
ZOZOSUITが新しくなったーーセンサーではなくマーカー読みとり方式へ変更
ZOZOTOWN用の採寸ボディースーツをスタートトゥデイが無料配布(ただし送料はかかる)

カテゴリー:ハードウェア
タグ:アルティーリ千葉スポーツ(用語)3D / 3Dモデル(用語)ZOZO(企業)ZOZOSUIT(製品・サービス)千葉大学(組織)日本(国・地域)

裸眼で立体的に見える3Dディスプレイ第2世代モデルをLooking Glass Factoryが発表

ブルックリンに拠点を置くLooking Glass Factory(ルッキング・グラス・ファクトリー)は米国時間7月13日、新型ホログラフィックディスプレイ(裸眼3Dディスプレイ)2機種を発表した。2020年末に発売されたエントリーモデル「Looking Glass Portrait(ルッキング・グラス・ポートレイト)」に続き、今回発表されたのは15.6インチの「Looking Glass 4K」と、32インチの「Looking Glass 8K」の第2世代モデルだ。

これらのモデルには、サイズだけでなく価格にも大きな差がある。7.9インチの「Portrait」が299ドル(約3万3000円)であるのに対し「4K」が3000ドル(約33万円)、そして「8K」は1万7500ドル(約193万円)。裸眼で立体的に見ることができる3Dコンテンツを映し出すための基本的な技術が同じであることを考えると、この価格差はより顕著に感じられる。

画像クレジット:Looking Glass

「生産規模も価格差の要因の1つです」と、同社のShawn Frayne(ショーン・フレイン)CEOはTechCrunchに語った。「人々が使っているこのサイズの8Kディスプレイは、実際にはほとんどありません。今後数年で8Kディスプレイの販売は大きく伸びると我々は予想していますが、現在の初期段階にPortraitと同じ規模で製品を生産することはできません」。

Looking Glassでは、Portraitを自社技術のアンバサダーのようなものと考えている。特に2020年までは、同社のシステムを潜在的なバイヤーに見せることは、ほとんどできなかった。実際に同社の古いシステムをいくつか見たことがある筆者は、Zoom(ズーム)を通して見るのとは効果が全然違うということを証言できる。Looking Glassによると、同社はこれまで約1万1000台の製品を販売しており、需要を満たすために、世界的なサプライチェーンの問題を切り抜けながら、毎月「数千台」を出荷しているという。

画像クレジット:Looking Glass

「当社のPortraitは、上司から承認を得る必要なしに、自分のホログラフィックディスプレイを手に入れることができる最初の機会になると思います」とフレイン氏はいう。「興味を持って購入したものが、期待通り、あるいは期待以上のものであれば、その先に進もうと思うでしょう。Portraitの品質レベルは非常に高く、より大きな製品はその品質をより大きな画面で実現しています」。

画像クレジット:Looking Glass

今回発表された2つの新モデルは、一般消費者向けというよりも事実上の開発者向け製品であった従来のモデルの後継に当たる(ただし、旧モデルのサポートは引き続き提供される)。これら第2世代の製品は、価格が抑えられたことに加え、大幅に軽量化されており、さらに映像の再現度も、特にホログラフィックディスプレイで問題となりやすいエッジ部分において、先代モデルより改善されている。

なお、日本においては、第2世代の4Kと8KおよびPortraitの3モデルとも、クラウドファンディングサイトのMakuakeで、7月21日14時より注文受付が開始される。日本向けの販売価格もそこで発表される予定だ。

関連記事
Looking Glassが2D画像を3Dにするホログラフィック技術のためのソフトを開発
Looking Glassの次期製品はホログラフィック・デジタルフォトフレーム、写真はiPhoneで撮影
Looking Glass Factoryが8Kホログラフィック・ディスプレイの出荷を開始

カテゴリー:ハードウェア
タグ:Looking Glass Factoryディスプレイ3Dホログラム

画像クレジット:Looking Glass Factory

原文へ

(文:Brian Heater、翻訳:Hirokazu Kusakabe)

5GとVR・AR技術、3Dプリンティング技術を活用し東京の指導医が大阪の若手歯科医による歯科手術を遠隔支援

5GとVR・AR技術、3Dプリンティング技術を活用し東京の指導医が大阪の若手歯科医による歯科手術を遠隔支援Holoeyesは、Dental Predictionとソフトバンクの協力のもと「5GネットワークにおけるXR歯科手術支援の有効性の検証」に関する実証実験を7月12日から実施します。

5GとXR技術、3Dプリンティング技術を活用した実験で、東京にいる指導医が大阪にいる若手歯科医に、VR・AR映像を通して診断・治療の指導と手術を支援をするといった内容です。

具体的には、歯が欠損した場合に行うインプラント手術の症例を扱います。インプラント手術は、知識的にも技術的にも比較的難易度の高い処置です。5GとXR技術、3Dプリンティング技術を活用して、物理的な場所の制約を受けずに若手歯科医への知識や技術の伝授ができるかを検証します。

5GとVR・AR技術、3Dプリンティング技術を活用し東京の指導医が大阪の若手歯科医による歯科手術を遠隔支援

3Dモデル/3Dプリンティング模型

実験では患者のデータを基に作成した頭蓋骨の3Dモデルを使い手術に必要な3次元の動きをVR空間で共有します。診断と検討の後、指導医は3DモデルをAR空間で操作しながら、同じ患者の顎骨の3Dプリンティング模型を使って指導します。

若手歯科医はAR映像を見ながら模型にドリルで穴を開けるなどの実習を行うことで、インプラント手術の一連の流れを体験できます。最終的には、指導医が東京からAR映像を通して支援しながら、若手歯科医が大阪市内の歯科クリニックで実際の患者の手術を行います。

なお、遠隔指導および遠隔手術支援に当たっては、現役の歯科医であるDental Prediction代表の宇野澤氏が、診断を行う上で重要なポイントや解剖に関する手順を解説します。

各種デバイスに対応したHoloeyesの医療用画像表示サービス「Holoeyes XR」と、オンライン遠隔共有カンファレンスサービス「Holoeyes VS」を活用し、ソフトバンクの5GネットワークでVR・AR映像を送受信することで、指導や手術支援を行います。

以降リリースより転載です。

実証実験の概要

  1. 名称:5GネットワークにおけるXR歯科手術支援の有効性の検証
  2. 実施期間(予定):2021年7月12日~9月
  3. 実施場所:東京会場:ソフトバンク本社(東京都港区海岸1-7-1 東京ポートシティ竹芝 オフィスタワー)、大阪会場:5G X LAB OSAKA(大阪市住之江区南港北2-1-10 ATCビルITM棟 6階「ソフト産業プラザTEQS」内)

実施の流れ

  • ステップ1(7月12日実施予定):過去に手術を受けた患者のデータを基に作成した3Dモデルで症例検討と解剖手順の確認を行った後、同じ患者の3Dプリンティング模型を使って、若手歯科医が手術の一連の流れを体験します。複数の若手歯科医へ同時に遠隔指導することで、その有用性を検証します。
  • ステップ2(8月実施予定):これから手術を受ける患者のデータを基に作成した3Dモデルで症例検討と解剖手順の確認を行った後、同じ患者の3Dプリンティング模型を使って、若手歯科医が手術の一連の流れを体験します。今後予定している手術を、複数の若手歯科医が同時に疑似体験できることを検証します。
  • ステップ3(9月実施予定):東京の指導医が遠隔支援しながら、若手歯科医が大阪市内の歯科クリニックで実際の患者(ステップ2の患者)の手術を実施します。若手歯科医が、指導医の遠隔支援の下で安全かつ確実に手術ができることを検証します。

(Source:ソフトバンクEngadget日本版より転載)

関連記事
オリンパスやNTTドコモ他3医療機関が4K映像による消化器内視鏡映像のリアルタイム伝送の実証実験に成功
ジョリーグッドと順天堂大学が新型コロナ診療病棟の完全再現VRを共同開発、医学生に実習の場提供
歯科手術ロボ開発のNeocisが約76億円調達、すでに2700人超の患者が利用
ジョリーグッドがVRで遠隔臨床実習を行える「多接続リモートVR臨床システム」を開発
VR/MR技術で医療現場のコミュニケーションを革新するHoloEyesが2.5億円を調達

カテゴリー:ヘルステック
タグ:医療(用語)XR / xR(用語)遠隔医療(用語)拡張現実 / AR(用語)仮想現実 / VR(用語)歯 / 歯科(用語)3D / 3Dモデル(用語)3Dプリント / 3Dプリンター(用語)ソフトバンク / SoftBank(企業)Dental Prediction(企業)5G(用語)HoloEyes(企業)日本(国・地域)

普通のスクリーンをホログラフィックディスプレイに変えるVividQ

旧来のスクリーンにホログラムを描画する技術を持つ英国のディープテック企業VividQ(ヴィヴィッドQ)は、次世代のデジタルディスプレイやデバイスに向けた技術を開発するために、1500万ドル(約16億7000万円)の資金調達を行った。同社はすでに米国、中国、日本の製造パートナーを確保している。

シード延長ラウンドとなった今回の資金調達は、東京大学のベンチャー投資部門である東大IPC(東京大学協創プラットフォーム開発株式会社)が主導し、Foresight Group(フォーサイト・グループ)とWilliams Advanced Engineering(ウィリアムス・アドバンスト・エンジニアリング)の共同出資会社であるForesight Williams Technology(フォーサイト・ウィリアムス・テクノロジー)、日本のみやこキャピタル、オーストリアのAPEX Ventures(エイペックス・ベンチャーズ)、スタンフォードのベンチャーキャピタルであるR42 Group VC(R42グループ)が参加。以前から投資していた東京大学エッジキャピタル、Sure Valley Ventures(シュア・バレー・ベンチャーズ)、Essex Innovation(エセックス・イノベーション)も加わった。

今回の資金は、VividQのHoloLCD技術をスケールアップするために使用される予定だ。同社の主張によれば、この技術は一般的な民生機器のスクリーンを、ホログラフィックディスプレイに変えることができるという。

2017年に設立されたVividQは、すでにArm(アーム)をはじめ、Compound Photonics(コンパウンド・フォトニックス)、Himax Technologies(ハイマックス・テクノロジーズ)、iView Displays(アイビュー・ディスプレイズ)などのパートナー企業と協力して開発に取り組んでいる。

VividQの技術は、コンピューター生成ホログラフィによって「真の被写界深度を持つ本当の3D画像をディスプレイに投影し、ユーザーにとって自然で没入感のあるものにする」ことができるという。同社ではこの技術を、自動車用HUD(ヘッドアップディスプレイ)、HMD(ヘッドマウントディスプレイ)、スマートグラスなどで活用することを目指している。同社はまた、通常の液晶画面をホログラフィックディスプレイに変える方法を発見したとも述べている。

「『アイアンマン』や『スター・トレック』のような映画でおなじみのシーンが、これまで以上に現実に近づいています」と、VividQの共同設立者でCEOを務めるDarran Milne(ダラン・ミルン)氏は語っている。「VividQでは、ホログラフィックディスプレイを世界に初めて提供することをミッションとしています。当社のソリューションは、自動車業界に革新的なディスプレイ製品を投入し、AR体験を向上させることに役立ちます。近い将来には、ノートPCや携帯電話など、パーソナルデバイスとの関わり方も変えるでしょう」。

画像クレジット:VividQ

東大IPCの最高投資責任者である河原三紀郎氏は「ディスプレイの未来はホログラフィです。現実世界と同じ様に見える3D画像を求める声は、ディスプレイ業界全体で高まっています。VividQの製品は、多くのコンシューマーエレクトロニクス事業者が将来に向けて抱く野心を、現実のものとするでしょう」と語っている。

APEX Venturesのアドバイザーであり、Armの共同設立者であるHermann Hauser(ヘルマン・ハウザー)氏は「コンピューター生成ホログラフィは、私たちの周りの世界と同じ3D情報を持つ没入型の投影像を再現します。VividQは人間のデジタル情報への接し方を変える可能性を秘めています」と述べている。

筆者による電話インタビューで、ミルン氏は次のように付け加えた。「私たちはこの技術をゲーミングノートPCに搭載し、標準的な液晶画面でホログラフィックディスプレイを利用できるようにしました。スクリーンの中で、実際に画像が奥行きを持って広がっているのです。光学的なトリックは使用していません」。

「ホログラムとはつまり、基本的に光がどのように振る舞うかを指示する命令セットのことです。その効果をアルゴリズムで計算し、それを目に見せることで、本物の物体と見分けがつかなくなります。それはまったく自然に見えます。現実と同じ情報を、文字通り目に与えているので、人間の脳や視覚システムは現実のものと区別することができません。だから、通常の意味でいうところのトリックは一切ありません」。

もしこれがうまく機能すれば、確かに変革をもたらす可能性がある。UltraLeapのような「バーチャル触感」技術とうまく融合させることも期待できそうだ。

関連記事
ホログラフィックディスプレイのEnvisicsがパナソニックと提携、車内AR技術実現を加速
Looking Glassが2D画像を3Dにするホログラフィック技術のためのソフトを開発
Looking Glassの次期製品はホログラフィック・デジタルフォトフレーム、写真はiPhoneで撮影

カテゴリー:ハードウェア
タグ:VividQ資金調達ホログラムイギリス東大IPC3Dディスプレイ

画像クレジット:VividQ founders

原文へ

(文:Mike Butcher、翻訳:Hirokazu Kusakabe)

ARと3Dモデルを使えば知識の共有もスムーズ、無料アプリも提供するJigSpaceが約5.2億円調達

元アートディレクターのZac Duff(ザック・ダフ)氏は、2015年にゲーム開発コースをオンラインで教え始めたが、新型コロナウイルスの影響によるロックダウンが起きた後、世界中の教師が経験したのと同じ困難に直面した。そこでダフ氏は、自分の3Dデザインの経験を活かして、バーチャルリアリティの教室を構築し、生徒たちがリモート学習をもっと魅力的に感じられるようにした。この学校では、Zoom(ズーム)で講義を受ける代わりに、生徒たちはVRヘッドセットを装着して、ダフ氏が作った古代ギリシャ風の教室に移動する。

とはいえ、このような学習モデルを容易に普及させることはできないことも、ダフ氏にはわかっていた。ほとんどの学校にはVRヘッドセットの準備がないし、ほとんどの教師は10年を超えるゲームデザインの経験を持っていないため、緑の野原に蝶が舞う教室を(ダフ氏のように)作ることはできないからだ。しかし同氏は、誰もが3Dプレゼンテーションを作成し、ARで情報を共有できる、ユーザーフレンドリーなプログラムに可能性があると感じた。

「その中心にあるのは、知識の伝達です。ある人が別の人に知識を本当に効果的な方法で伝えることです」と、ダフ氏はTechCrunchに語った。同氏は、一般的なユーザーでもアイデアを伝えるためのプレゼンテーションやグラフィックを簡単に作成できる、Microsoft Powerpoint(マイクロソフト・パワーポイント)やCanva(キャンバ)のような製品に言及した。「2Dではそういったシステムがありますが、3Dではそれがありませんでした。何かを作るためには、本当に複雑で高価な技術的プロセスを経なければなりません。それが私の心に引っかかっていました」。

画像クレジット:JigSpace

それからすぐに、ダフ氏は金曜日に仕事を休んで、3Dにおける知識共有の標準を確立するための会社となるJigSpace(ジグスペース)の概要をまとめ上げた。2017年にローンチした同社のプラットフォームは、現在400万人以上のユーザーを抱え、App Store(アップ・ストア)における平均評価は4.8。JigSpaceのアプリをダウンロードすると、水漏れしたシンクを修理する方法や、乾いた壁の補修方法、あるいはLego(レゴ)Star Wars(スターウォーズ)の宇宙船の作り方などを示す3Dモデル(Jigと呼ばれる)に、ARで触れることができる。また、ピアノの構造や人間の目の仕組み、新型コロナウイルスの感染経路などを教える教育用モデルもある。JigSpaceの潜在的な使用例は多岐にわたる。ダフ氏はメーカーと協力し、自社製品のJigを作ってもらいたいと考えている。そうすれば、例えばエアコンのフィルターを交換する際に、説明書に載っている白黒の2次元の図面ではなく、3次元のモデルをARで見ることができるようになるというわけだ。

JigSpaceは米国時間6月30日、シリーズAラウンドで470万ドル(約5億2000万円)の資金を調達したと発表した。この投資ラウンドはRampersand(ランパーサンド)が主導し、Investible(インベスティブル)の他、Vulpes(ウルペス)、Roger Allen AM(ロジャー・アレンAM)などの新たな投資家も参加した。

JigSpaceのアプリは無料で利用でき、誰でも3Dモデル化されたオブジェクトのプリセットやテンプレートを組み合わせて独自のJigを作成することができる。技術的な知識を持った人なら、無料版でも30MBまでのファイルをアップロードして、よりカスタマイズされたJigを作ることもできる。しかし、Jigspaceの収益源は、商業ビジネスや製造会社向けに設計された「Jig Pro(ジグ・プロ)」プラットフォームだ。Jig Proの個人向けサブスクリプションは月額49ドル(約5450円)だが、企業向けの価格はオンラインに記載されていない。

画像クレジット:JigSpace

「当社にとって最適な分野は耐久消費財の製造業です。なぜなら、ほとんどの製造業の製品にはCADファイルがあり、3Dデータがすでに存在しているからです」と、ダフ氏はいう。「当社はそれらの企業と協力することで、製品の構造を示す素材を製作するためのツールを企業に提供することができます」。

JigSpaceはPro版を発表した直後、Apple(アップル)のiPhone 12発表イベントで取り上げられ、iPhone 12のLiDARスキャナーと5G機能を使って製造業の時間とコストを削減する方法の実例を示した。また、JigSpaceはSnapchat(スナップチャット)とも提携し、キッチン用品をスキャンすると、電子レンジやコーヒーメーカーなどがどのように動くかを示す3Dイメージ(Jig)が表示されるレンズを作成した。

Jig Proの顧客数は、2020年半ばの発売以来、毎月40%ずつ増加しており、平均的なユーザーは1日1回以上アプリにログインしているという。Verizon(ベライゾン)、Volkswagen(フォルクスワーゲン)、Medtronic(メドトロニック)などの企業は、JigSpaceを使って3Dモデルを開発し、関係者や顧客、遠隔地の従業員に提示する方法として活用している。アップルのCapture(キャプチャ)のような製品が出てくれば、自分の3DモデルをJigSpaceに取り込むことがさらに容易になるだろう。

商業的な可能性を秘めているにもかかわらず、JigSpaceは手軽にARを通して学べるように、無料版を維持している。これはダフ氏にとって重要なことであるという。

「私たちは、トップ技術者だけでなく、情報を共有したいと思っているすべての人々に、確実にサービスを提供できるようにしたいのです」と、ダフ氏はいう。「共同設立者のNuma Bertron(ヌマ・ベルトロン)と私は、最初から無料版を提供したいと考えていました。知識は可能な限り最善の方法で人々がアクセスできるようにすべきであり、そうすべきでない理由はありません」。

関連記事
iPhone 12 ProのLiDARスキャナーを使ったAR体験一番乗りはSnapchat
iPhoneが目が見えない人に他人の接近とその距離を知らせる機能を搭載する
アップルのRealityKit 2で開発者はiPhone写真を使ったAR用3Dモデル作成が可能に

カテゴリー:VR / AR / MR
タグ:JigSpace教育資金調達アプリ3D / 3Dモデル

画像クレジット:JigSpace

原文へ

(文:Amanda Silberling、翻訳:Hirokazu Kusakabe)

セガがゲーム業界における三角関数や虚数の重要性を伝授する約150ページの社内勉強用数学資料を一般公開

セガがゲーム業界における三角関数や虚数の重要性を伝授する社内勉強用資料を一般公開

セガは6月15日、公式ツイッターアカウントで「サインコサインタンジェント、虚数i……いつ使うんだと思ったあなた。じつは数学は、ゲーム業界を根から支える重要な役割を担っているんです」とツイート。セガ社内勉強会用の数学資料「基礎線形代数講座」約150ページを無料公開したと発表した。

この勉強会は、「高校数学の超駆け足での復習」から始めて「大学初年度で学ぶ線形代数の基礎」を学び直し、「応用としての3次元回転の表現の基礎の理解」をすることを目的としている。

線形代数は3DCGの基礎であり、ゲーム開発には欠かせない。しかし、SEGA TECH BLOGによれば、「ゲーム開発においても分業化・専業化の流れは著しく、ゲームアプリケーション(みなさんに遊んで頂いているゲームそのもの)を開発する際、いわゆるゲームエンジンや各種ライブラリを用いるのが当たり前になっています」という。つまり、今やエンジンやライブラリーを使えば高等数学の知識がなくてもゲームは作れてしまうということ。ところが、数学の知識がないと、エンジンやライブラリーをカスタマイズして使いたいときに行き詰まってしまう。当然、エンジンやライブラリーを開発する人や、もっと高度なプログラムを組みたいと考える人には、どうしても必要となる。

この資料の構成は次のとおり。

第1講 イントロダクション
第2講 初等関数
第3講 ベクトル
第4講 行列 I:連立一次方程式
第5講 行列 II:線形変換
第6講 行列 III:固有値・対角化
第7講 回転の表現 I
第8講 回転の表現 II

この資料の「まえがきに代えて」の最後には、こんなメッセージが添えられている。
「学生の方へ、このような異端の書(笑)で学ぼうという奇特な方がもし居たら、言うまでもないことですが、本書を読んだあと講義で指定されている教科書を改めて読み直してみましょう。きっと今まで以上に理解が深まるのではないかと思います。未来を担う皆さんにとって、本書が少しでもお役に立てれば幸甚です」

関連記事
東京大学が国内初の「数理・データサイエンス・AIモデルカリキュラム」完全準拠教材を無償公開
東京大学に量子ネイティブ人材を育成する「量子ソフトウェア」寄付講座が開設、2021年6月1日~2024年5月31日の3年間
ハーバード大コンピューターサイエンス講座を日本語化・無償公開した、エンジニア養成学校CODEGYMを手がけるLABOTが3.1億円調達
ハーバード大のコンピューターサイエンス入門講座・プログラミング講座が日本語化・無償公開
Switchでプログラミングを学んでゲームを作れる、「ナビつき! つくってわかる はじめてゲームプログラミング」発表
AI理解のためのビジネスパーソン向け無料講座「AI For Everyone」、日本ディープラーニング協会が開講
競技プログラミングコンテスト「AtCoder」アルゴリズム実技検定初の公式テキストが登場

カテゴリー:EdTech
タグ:エンジニア(用語)ゲーム(用語)数学(用語)3D / 3Dモデル(用語)セガ(企業)プログラミング(用語)日本(国・地域)

グーグルが実物大の相手がすぐ向こう側にいるかのような3Dビデオ通話ブースを開発中

Google(グーグル)は、3Dディスプレイ上の3D映像を利用して、双方のユーザーをリアルに映し出すビデオ通話ブースの開発に取り組んでいる。まだ実験的なものではあるが「Project Starline(プロジェクト・スターライン)」は長年の研究と買収を基にしており、近い将来、よりパーソナルに感じるビデオ会議の中核となる可能性がある。

このシステムは、事前に何も知らなかった参加者のビデオを通じてのみ公開された。参加者たちはまず、スクリーンとカメラのセットアップがほとんど隠された部屋に入るように指示された。その後、スクリーンが点灯し、家族など大切な人のビデオ映像が映し出されたが、それは誰も予想していなかった方法によるものだった。

「彼女を見て、感じることができ、まるで3Dの体験のようでした。まるで彼女がここにいるかのようだった」。

「彼に本当に触れられるような気がしたわ!」。

「本当に、本当に彼女と私が同じ部屋にいるように感じました」。

Sundar Pichai(サンダー・ピチャイ)CEOは、この「エクスペリエンス」は高解像度のカメラと独自の深度センサーによって可能になったと説明している。これはほぼ間違いなく、人物や場所を撮影した動画をインタラクティブな3Dシーンに変換するという、グーグルの研究プロジェクトに関連していると思われる。

関連記事
物体の裏側も撮影する46台のカメラを使うグーグルの新技術「ライトフィールドビデオ」
Google AIのチームが開発した卵型LEDルームが人間の3Dモデルを見事に捉える

ディスプレイの周囲に隠されたおそらく10数台のカメラとセンサーが、人物をさまざまな角度から撮影し、正確な形状を把握して、ライブで3Dモデルを作成する。このモデルと、すべての色やライティングの情報は、(多くの圧縮と処理を経て)相手のセットアップに送られ、迫真の3Dで表示される。さらに、頭や体をトラッキングし、その時々の視点に合わせて映像を調整する(この技術の初期バージョンについては、こちらでもう少し見られる)。

しかし、3Dテレビはどちらかというと廃れてしまった感がある。誰も特別なメガネを何時間もかけて見たいとは思わないし、メガネなしの3Dはこれまで一般的に画質がかなり悪かった。では、この特別な3D画像は何によって作られているのだろうか?

ピチャイ氏は「当社は画期的なライトフィールドディスプレイを開発しました」と述べているが、これはおそらく、独自の技術を軌道に乗せることができず2018年に解散した、ライトフィールドカメラのLytroを買収して獲得した人材とIPの助けを借りたものだろう。

ライトフィールドカメラやディスプレイは、さまざまな技術を使って2Dで説明したり見せたりするのが非常に難しい3D画像を作成し、表示する。スタートアップのLooking Glassは、3Dモデルや写真のシーンが小さなホログラムのように見える、実際に見ると非常に印象的なものを制作している。

関連記事:Looking Glassが2D画像を3Dにするホログラフィック技術のためのソフトを開発

Googleのアプローチが似ていようと違っていようと、参加者たちが示すように、そのインパクトは同様に目覚ましいものであるようだ。現在、社内でテストを行っており、人の存在感が大きな違いを生むさまざまな業界(医療など)のパートナーにユニットを送り出す準備をしているという。

現時点では、Project Starlineはまだプロトタイプに過ぎず、おそらくとんでもなく高価なものになるだろうから、すぐに家に置くことはできない。しかし、このライトフィールド・セットアップのコンシューマー版が将来的に登場するかもしれないと考えることは、決して荒唐無稽ではない。Googleは、2021年後半にもっと情報を共有すると約束している。

関連記事
グーグルがAndroid 12の最新情報を公開、近年最大級のデザインアップデート、新ベータ版配信開始
Chromeに漏洩パスワードを自動的に修正する新機能、グーグルのAIテクノロジー「Duplex」を利用
事前トレーニングなしでより自然に会話できる新AI言語モデル「LaMDA」をグーグルが発表
今、Androidは30億台のアクティブデバイスに搭載されている
グーグルが「折りたたみ式」にフォーカスしたAndroidディベロッパー向けアップデートを追加
グーグルが次世代カスタムAIチップ「TPUv4」を発表、1ポッドでエクサフロップ以上の処理能力
グーグルの「Wear OS」とサムスンの「Tizen」が統合、アップルのwatchOSに対抗
Googleがオンラインショッピング拡大でShopifyと提携
グーグルがクロスプラットフォームUIツールキット「Flutter」をアップデート
グーグルの「Workspace」アプリが相互連携を強化し12の新機能を追加、囲い込みがさらに進む
Android TV OSの月間アクティブデバイスが8000万台に到達、新機能も発表
グーグルがWear OSの大規模アップデートを発表、Fitbitの「健康」関連機能も導入

カテゴリー:VR / AR / MR
タグ:GoogleGoogle I/O 20213Dビデオチャット

原文へ

(文:Devin Coldewey、翻訳:Aya Nakazato)