Augmented Reality | SEO-LPO.net

Googleの最新アプリは白い線を引くだけ

本日（米国時間3/20）数多くのアプリ開発者が、Googleの拡張現実プラットフォーム向けに最新ARアプリを披露したが、Googleもじっとしていたわけではない。

Googleのチームが公開したのは、史上もっともシンプルなアプリかもしれない。チームはこのアプリを「実験」だと言っているが、それだけの理由はある。文字通り白い線を引くためだけのアプリだからだ。”Just a line” は、GoogleのVRペイントアプリ、Tilt Brushからあらゆるカスタムツールや設定機能を取り除き、宙に浮かぶデジタル白線で世界に注釈をつける能力だけを引き継いだ。

VR版との大きな違いは、VRヘッドセットを持っているひとよりも、ARCore互換のスマートフォンを持っているひとの方がずっと多いことだ。だからクールな3Dペインティングを多くの人が初めて体験できる。

ユーザーは端末を手に持って指を使って線を引く。ユーザーインターフェースは様々な物理的な動きに依存しており、携帯電話自体をメインコントローラーとして使う。自分の描いた美しい線をあとで見たいユーザーは、自分の作品を録画してダウンロードすることができる。

アプリを使ってみるためにはARCore互換の端末が必要になる。あと、出来上がるものへの期待をコントロールすることもおそらく必要だ。できることは線を引くこと！それだけ。

ダウンロードはこちら。

[原文へ]

（翻訳：Nob Takahashi / facebook ）

eBayのARツールを使えばその品物の発送にぴったりのサイズのボックスを見つけられる

拡張現実(augmented reality, AR)の実用的な用途は画面にPokémonを出すことだけではない、ということにやっと誰かが気づいたようだ。オークションの大手Ebayが今日（米国時間3/19）導入したAR応用機能は、売り手が自分の商品を発送するのに最適のボックスを見つけるお手伝いをする。同社によると、商品はバックパックでもキッチン用品でも自動車部品でも何でもよい。とにかくUSPS（≒“郵便”）の定額料金でそれを送れるのに最適な箱を早く見つけて、時間を節約してくれる。

Ebayによると、これにより売り手は、いちいち郵便局へ行って正しいサイズの箱を探す必要がなくなり、送料も発送作業の現場で分かる。

この機能は、GoogleのARCoreを使った初期のアプリのひとつで、現在はARCoreに対応しているAndroidデバイスでしか使えない。

ARCoreはAppleのARKitに対抗するGoogleのAR SDKで、今年の2月に一般公開され、今ではその1.0を全世界に1億台あまりあるAndroidデバイスが利用できる。その主な機種は、Pixel, Pixel XL, Pixel 2, Pixel 2 XL, Galaxy S8, S8+, Note8, S7, S7 edge, LGE’s V30, V30+(Android Oのみ), ASUS Zenfone AR, OnePlus 5などだ。

このARを利用した発送機能は、スマートフォンの距離計機能や地図機能を利用して現在地を知り、移動した距離や方向を知ることもできるそうだ。

使い方は、このアプリを開いたら“Selling”をタップし、次いで“Which Box?”をタップ、するとアプリは、品物を反射のない平らな面の上に置け、と指示する。テーブルや床の上でよいだろう。次に、その品物のまわりに仮想ボックスを作って、どの箱が合うかを見つける。緩衝材の必要な品物なら、そのぶんのスペースも考慮する。

品物に仮想のボックスをかぶせたら、その状態で箱の上下や左右を見て、はみ出しがないかチェックできる。

Ebayによると、このAR利用の発送機能は、同社の例年のハックウィークのときに作られ、今年いくつかあったAR応用作品の中で唯一採用された。iOS版も今作っているそうだが、スケジュール等は未定だ。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Google、マップを使ってあらゆるゲームを地球規模の大作に変える

ビデオゲームがリアル世界にぐっと近づこうとしている。GTA V（グランド・セフト・オート5）でドライビングのスリルを味わったり、ロサンゼルスのランドマークを覗き見している人なら、ゲームのプレイ中にはるかに多くのことを感じられるようになるだろう。

Googleは、マップAPIをビデオゲームデザイナーに使いやすくした。リアル世界の位置データや形状データが利用できるようになり、1億種類の3D建造物、ランドマークなどが開発者のデザインレパートリーに加わる。ゲーム会社はこのマップを使って作品のデジタル環境の基盤を作る。あらゆるモデルをUnityゲームエンジンのGameObjectに変換して細かい修正をしたり新たなテクスチャーを貼り付けられるようにする。

開発者はニューヨーク市を中世の都市に変えたり、テクスチャーを塗りかえたり、すべてを広大なエイリアン世界に変えたりする。マップAPIにゲーム要素が加わることで、広大な帝国を作り上げる開発者の仕事が大いに軽減される。

「Googleマップの世界基盤の上にゲームを作ることで、レスポンス時間は短く、迅速なスケーリングが可能になり、ゲームがちゃんと動くという安心感が得られる」とGoogleのブログ記事に書かれている。

この改訂は、拡張現実（AR）ゲームの開発者にとっても大きな意味を持つ。通常はゲーム世界でユーザーを案内するのに地域マップを使うのが普通だ。ARCoreを使っている開発者は、このアップデートによって自分の作る世界を地域マップ上に展開して、ユーザーがどこにいる場合でもカスタマイズ可能な体験をもたらすことができる

Googleはすでにゲームスタジオ数社と協力して、マップを新タイトルに組み込む作業を進めている（Walking Dead: Your WorldとJurassic World Aliveなど）。来週サンフランシスコで行われるGDC（ゲーム・デベロッパーズ・カンファレンス）では、システムのしくみについてさらに情報提供するものと思われる。

[原文へ]

（翻訳：Nob Takahashi / facebook ）

東芝がWindows 10で動く企業向けARヘッドセットを発表、地味だが実用性に配慮

今日（米国時間3/12）Toshibaが、企業向けARヘッドセットdynaEdgeを披露した。その、あまりセクシーとは言えないヘッドセットは、多くの点で平々凡々だが、独特なのは、Windows 10 Professional PCの完全バージョンが付随することだ。

その1899ドルのパッケージを構成するものは、Vuzix製のGoogle Glassふうヘッドアップディスプレイと、それが接続するIntelの第6世代プロセッサーを搭載するバッテリー駆動のWindows 10 PCだ。

ヘッドセットは片目を覆うだけで、ユーザーがそれを視界から外すことも容易にできる。工場などのタスクに向けて最適化されており、たとえばスクリーン上のチェックリストおよび画像と棚の上の現物を対照していく（上図）といった作業に向いている。現場の労働者がそのデザインを気に入ることはないと思うが、安全帽の上からでも着用できるし、邪魔なら簡単に視界から外せるので、他社製品ほど、うっとうしくはない。

インタフェイスもAR向けに最適化されているから、PDFのドキュメントを仕事をしながらページを繰ったり、今見たい必要なビデオをストリーミングさせたり、製品のQRコードをスキャンしたり、などなどのことができる。

ARヘッドセットを企業が生産ラインに持ち込むときの、最大の問題のひとつが、使用者の訓練と、その企業のITのセキュリティとの統合だ。これまでのヘッドセットはその多くが、Windowsの世界に迷い込んだAndroidの孤児だ。そこでToshibaが考えたのは、ヘッドセットもWindows化することによって、それを企業顧客が採用しやすくすることだ。

またToshibaという名前とブランドイメージが、企業顧客には一定の安心感を与える。ほんの数年前に生まれたばかりのスタートアップから買うことを、渋っていた企業でも。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Googleの仮想現実プラットホームARCoreが1.0に達し、13の機種で可利用に、Lensのプレビューも対象を広げる

これまで実験で遊んできたGoogleの拡張現実プラットホームARCoreがいよいよ1.0のリリースとなり、全世界で1億を超えるAndroiddバイスで使えることになった。

新しいPixelスマートフォンを持ってる人は、Star WarsやStranger Thingsの世界を現実世界に重ねるGoogleのARステッカーで遊んだことがあるかもしれない。今日のARCoreのローンチでは、デベロッパーが自分の作品をPlay Storeに置くことができ、プレビューできなかったスマートフォンの持ち主もスマートフォンの拡張現実を初体験できる。

GoogleはすでにSnap, Sony, Wayfare, Porscheなどの企業に声をかけて、ARCoreの本格的なアプリを共に作ろうとしている。

ARができるためには、次の機種のどれかが必要だ: Pixel, Pixel XL, Pixel 2, Pixel 2 XL, Galaxy S8, S8+, Note8, S7, S7 edge, LGEのV30, V30+(Android Oのみ), ASUS Zenfone AR, OnePlusのOnePlus 5。これは、今あるAndroidスマートフォンのごく一部、と言わざるをえないが、Googleの最終的なターゲットはあくまでも、1億のスマートフォンなのだ。

またGoogleによれば、同社は目下“Samsung, Huawei, LGE, Motorola, ASUS, Xiaomi, HMD/Nokia, ZTE, Sony Mobile, Vivo”と共同で、彼らの次の新機種にARCoreを載せようとしている。ということは、Galaxy S9は買ったときからARCoreをサポートしていることになりそうだ。

AppleのARKitとの比較、という話になると、Googleかなり同じようなものをローンチした、と言える。違いといえば、Googleの方がデジタルモデルを投影する面のサイズに柔軟性があり、そしてARCore 1.0は、“環境を正しく理解するのでユーザーは仮想オブジェクトをどんな質感の面にも置ける”そうだ。

ARKitは床やテーブルや壁など、大きな水平/垂直面を前提しているが、ARCoreは何が面であってもよい。そこで、AR作品を手のひらや枕の横などにも置けるだろう。もちろん、壁や床の上でもよい。

ARCoreはプレビューを終えて1.0になるが、コンピュータービジョンツールLensに関してはまだプレビューをやっている。でも、今後はもっと多くのユーザーが使えるようにする、と言っており、まず近日中にAndroidと9より上のiOSのGoogle Photosアプリに導入される。そうすると撮った写真に対していろんな機能がLensの機能を使えるようになり、Google Assistantのライブ機能もSamsung, Huawei, LG, Motorola, Sony, HMD/Nokiaの今後の新機種に載ることになる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

今設計しているものの構造や形が目の前で3Dプリントで分かるプロトタイピングマシンをMITらが開発中

MITとコーネル大学の共同プロジェクトRobotic Modeling Assistant(RoMA)は、最新のさまざまなテクノロジーを組み合わせて、従来よりも良いプロトタイピングマシンを作ろうとしている。

上図のように拡張現実ヘッドセットと二つのコントローラー、そしてCADプログラムを使って、設計者は3Dモデルを作る。するとロボットアームが、自分に装着されている3Dプリンターからプラスチックを射出してスケルトンモデル（骨格モデル）を作っていく。

チームリーダーのHuaishu Pengはこう言う: “RoMAを使うと、現実世界の制約を早めに設計に反映できるから、形の良い、実際に手で触（さわ）れる工作物を設計段階で作れる。既存のオブジェクトから直接、設計を起こすこともできるから、単なる工作物でなく、インシトゥ(in-situ)な作り方もできる”。

Pengがアップロードしたビデオでは、このシステムの3Dプリントはまだかなり粗い。ふつうの3Dプリンターのようにプリントベッドなどかんじんの部品が固定されてなくて、自由に動くロボットアームの先端がプリンターだから、現状では細密な動きが難しそうだ。

でも、デスクトップの3Dプリンターで多く使われているFDM法に比べると、相当速い。だから、今設計中の物をリアルタイムで3Dスケッチしていくことも、究極には可能だろう。もうちょっと細かいコントロールができるようになると、3Doodlerのような3Dプリンティング・ペンが得られるだろう。

そのアームは設計者のアクションにリアルタイムで反応して動く。Pengは書いている、“設計者はいつでも、プラットホームのハンドルにさわってモデルのパーツを回転し、見たい部分を前面に出すことができる。ロボットアームは、ユーザーから離れて待機する。設計者がプリンティングプラットホームから退（しりぞ）くと、ロボットがプラットホームのコントロールを完全に握って、プリンティングのジョブを完了する”。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

AndroidのMotion StillsアプリにAR StickersのようなAR機能を実装アップグレード

GoogleのビデオやGIFを編集するアプリMotion Stillsのアップグレードで拡張現実の機能が加わり、Pixel 2のAR Stickersのような楽しさが、そのほかのAndroidデバイスにも実現した。

このアプリにはかなり本格的な拡張現実のサーフェストラッキング(surface tracking, 表面追跡)機能があり、Google Polyのいろいろな3Dモデル（鶏、ロボット、恐竜など）を、本物の環境の中にある面に載せることができる（下図）。そして、アプリの中でそのGIFやビデオを記録できる。ARCoreのサポートを必要とするそのほかのAR機能と違ってMotion Stillsアプリは、Android 5.1以上が動いているさまざまなAndroidスマートフォンで利用できる。

GoogleのエンジニアJianing WeiとTyler Mullenがブログに書いている: “ARモードはリアルタイムのモーショントラッキングが駆動している。その自由度が6方向のトラッキングシステムは、Motion Stills iOSのMotion TextやYouTubeのプライバシーぼかしに使われている技術を利用し、静的なオブジェクトや動いているオブジェクトを正確に追う。われわれはこの技術をさらに改良して、ジャイロスコープのあるAndroidデバイスならどれの上でも楽しめるAR体験を実現した”。

GoogleがAR StickersをPixel 2に載せたのは12月で、それは最新のStar Warsと時期が一致し、生きた広告としてPorgs and Stormtroopersを人びとの家庭にリリースした。

このモードは、Googleの拡張現実開発プラットホームARCoreをAndroid上でプロモートするための機能の一つだった。AppleのARKitと同様にARCoreも、物の表面を感知して、その上に仮想のオブジェクトを置くことができる。まだARKitの最新機能のような壁の検知はできないが、でもAndroidデバイスは実装の相当な多様化が進んでいるから、そこでの製品開発はかなりの難関なのだ。

Motion StillsもARCoreと同じ技術に多くの機能を依存しているが、でもその最新のアップデートではGoogleのAR体験技術も相当高度になり、もっと多くの人やデバイスで十分楽しめるものになったのだ。

Motion Stills for Androidはここでダウンロードできる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Facebookの全身トラッキングの研究からはAR/VRへの大きな意欲が感じられる

ARとVRのエンターテインメントとコミュニケーションの両方の目的で、Facebookが大きな投資をしていることは、今や誰もが知っている。そしてその新しい研究は、顔を変えたり置き換えたりするだけでなく、全身を対象とするARアプリケーションに同社が取り組んでいることを示唆している。

今日のブログ記事では、 AIカメラのチームが、VRまたはARで全身の置換や追跡を明らかにねらっていると思われる成果を紹介している。

その記事で研究員たちはこう書いている: “われわれは最近、体のポーズを正確に検出し、人と背景を分ける新しい技術を開発した。われわれのモデルは今はまだ研究の段階だが、数メガバイトしか必要とせず、スマートフォン上でリアルタイムで動かせる”。

もちろん、これまでにも同様の研究はある。たとえば骨格トラッキングはいろんな産業でよく使われている。それにこのブログ記事は、大きな進歩を主張するというより、この特定のシステムとそのニューラルネットワーク部位の操作について書かれている。

でもしかし、Facebookは明らかに、モバイルにおける効率的で容易な実用化をねらっている。つまりそれは、センサーのデータ、画像の解像度、リフレッシュレート、処理能力などの点で制約のある環境だ。彼らがMask R-CNNと呼ぶこのテクニックは、その方向での良い前進だ。

これからは、Facebookからこのようなものが、続々と出てくるのだろう。同社は、このような研究に配置する研究インターンまで募集しているのだから。

画像提供: Facebook

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

このスタイルの良くないARヘッドセットは世界中を魚だらけにする、抜群の視野角だ

香港のRealMaxはCESに、同社がすべての人の顔に取り付けたいと願っている拡張現実ヘッドセットを展示した。ちょっと粗い仕上げのプロトタイプだが、これまでに見たどんなARデバイスよりも広い範囲を、デジタル画像で満たす。

そのプロトタイプは、どんなARヘッドセットよりも視界が広い。MicrosoftのHoloLensは視野角40度足らずだが、RealMaxは100度以上の視界を満たす。

光学系はそれほど高度な技術を使っていないし、解像度もあまりシャープでない。でも、オールインワンタイプで広い視界が欲しければ、RealMaxで決まりだろう。海中シーンのデモを数分見てみたが、そこには人魚がいるだけでなく、ぼくのまわりじゅう全体に、すごい数の魚が泳いでいるのだ。

家庭用のデバイスなら、すっきりコンパクトは優先課題にならない。あの高度な光学技術を持つMagic Leapも、まだかなりでかいから、外ではあまり使われないだろう。しかし視界の広さは、ユーザー体験にとってきわめて重要だ。その視野はOculus RiftやHTC Viveを装着しているときのそれに近い。位置追跡機能があり、Leap Motionセンサーもあるから、ユーザーの手の動きとの対話がユーザー体験に加わる。

しかし名もなき小さな企業が、今同社が考えているように、デバイスとコンテンツを作って売るまでのすべてを自社だけでやるのはきついだろう。開発キットは今年後半に1500ドルで出すというが、しかし消費者向けには、ヘッドセットの価格をハイエンドのスマートフォンより安くしたい、と言っている。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

AR/VRは空ブームが去って小休止、巨額な投資の大半は大物企業の底入れに向かう

拡張現実や仮想現実の技術に取り組んでいるテクノロジー企業は2017年に、30億ドルあまりのベンチャー資金を調達した。このニュースを報じたアナリティクス企業Digi-Capitalのデータによると、ARやVRをめぐる空騒ぎは下火になったものの、そこに注ぎ込まれるキャッシュの量は相変わらず増え続けている。

たしかに2017年の金額は2016年の投資額に比べて増えているが、しかしディールフローそのものは軽くて、わずか4つの案件が総額30億ドルの大半を占める：

億単位の資金を調達したNiantic, Improbabl, Unityなどの大物はAR/VR技術の将来性を投資家たちにうまく売り込んだと思われるが、それだけの資金量を獲得できた背景には、強力で伝統的なゲーム業界がある。

その中にあってMagic Leapは、業界の最大の一匹狼だ。彼らの最初の製品がどんなものか、そろそろわかりかけてきた今日では、彼らがだんだん、まともな企業に見えてきている。その製品がいつなんぼで出るのか、それはまだ不明だが、もっと分からないのは、彼らが企業市場と消費者市場のどっちに軸足を置くのか、という点だ。

2016年と2017年にVRのプロジェクトでシードラウンドを稼いだ小さめの企業は、Crunchbaseが示すように案件は徐々に減少し（右図）、泡沫企業の整理と、AR/VRスタートアップに対する継続投資の先細り、そして廃業が続くものと思われる。

2017年の後半はヘッドセットを使うVRからモバイルのARに焦点が移り、AppleのARKitやGoogleのARCoreなどが関心を集めた。しかし実際のアプリケーションは単なる視覚化があまりにも多く、平凡なものばかりだったので、受けはあまり良くなかった。消費者向けARヘッドセットは市場が大きく枯渇し、AppleやMicrosoft、Magic Leapなどが10年後の消費者に向けて今年以降何をやるか、様子見モードに入った。

今後伸びるであろう芽はいくつかあるが、AR/VRの空騒ぎは2017年で一掃され、勢いはなくなった。次の一歩は、Google, Apple, Facebook, Microsoftなどの大金持ちたちの動静次第だ。スタートアップのための資金は今年も潤沢と思われるが、AR/VRのような新興技術は、落ち込みがしばらくは続くだろう。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Googleの先進的ARプラットホームTangoが閉鎖、汎用のARCoreを主力に

Googleが今日（米国時間12/15）、ハイエンドなスマートフォンの拡張現実(augmented reality, AR)プラットホームTangoを閉鎖して、マスマーケット指向のARCoreに集中する、と発表した。そのことは、8月にARCoreが発表されたときすでに確認されていたが、今回はTangoの終結の公的日程が決まった。

Tangoのサポートは、2018年3月1日で終わる。

Googleはこんなツイートを: “これまでの3年間、Tangoの大きな進歩に貢献された、デベロッパーのみなさまの素晴らしいコミュニティに、感謝申し上げたい。みなさまとの旅路を、ARCoreで続けたいと願っている”。

2014年に導入された“Project Tango”は、それ自身が先駆者であり、AppleのARKitなどよりもずっと早くから、スマートフォンとタブレットというモバイルの世界にARのソリューションを持ち込み、深度（奥行き）専用カメラなど複数台の高度なカメラハードウェアを使って、今のMicrosoftのHololensにも似たやり方で3D空間のメッシュを作った。しかしスマートフォンのメーカーの実際の製品に、このかなり高価な機能性を実装させることは、Googleにとって見果てぬ夢に終わり、Tangoは3年間でごく一部の新奇なデバイスに載っただけだった。

今年のGoogleは、iOS　11におけるApple ARKitの成功に背中を押された形だ。GoogleはAndroid上のARにコストの高い入り口があるという状態を廃し、8月にARCoreを導入した。しかしTangoとARCoreの両者には多くのクロスオーバーがあるから、Tangoは単純に無に帰したわけではない。ARCoreはTangoを単純化して、3D空間（奥行きのある空間）のメッシュを作るよりも、プレーン（面）の検出にフォーカスしている。そのためARCoreは、Galaxy S8やPixelのような人気のスマートフォンでも動き、TangoのようにマルチカメラやIR（赤外線）といったクレージーなセットアップは要らない。

8月の時点でGoogleのAR/VRのボスClay Bavorはこう語った: “Tangoの目標はわれわれのコア技術を証明して、それが可能であることを世間に示すことだった。もちろんスマートフォンのARは他社もやっているが、Tangoの目標はあくまでも、その能力を（いずれは）できるだけ多くのデバイスで実現することだった”。

というわけなので、今回の閉鎖はきわめて論理的だ。ARのプラットホームを単一化することがすでに困難になっていたAndroidのようなプラットホームのために、Tangoのような要素がばらばらに多様化している開発プロセスを維持しても意味がない。まともなユースケースも確立していない現状では、商機もかなり乏しい。だから、先へ先へと進みすぎた技術を、もっと扱いやすいレベルに戻すことが妥当だ。しかしもちろん、Tango実装機を買ったユーザーはがっかりするだろう。たとえば数か月前に出たばかりのAsus ZenFone ARは、その最大のセールスポイントとして、Tangoを実装している。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Apple、ARヘッドセットを2020年出荷を目標に研究中

Appleは拡張現実（AR）ヘッドセットを2019年までに開発するための技術を研究中で、2020年の商品化を目指しているとBloombergの最新記事が伝えている。記事によるとそのデバイスはAppleのiPhoneや他のモバイルデバイスとは別物で、内蔵ディスプレーを備え、専用OS（’rOS’と内部で呼ばれている）と新しいカスタムプロセッサーを採用するという。

Apple CEO Tim Cookは過去のインタビューでARの将来について強気な発言をしており、iOS 11にはAR体験の開発を支援するARKitと呼ばれる機能が組み込まれている。Bloombergの以前の記事によると、Appleは複数のARエキスパートを雇い、開発チームはDolby Labsの技術担当幹部だったMike Rockwellが率いている。

最近Cookは、満足できる体験を得られるARヘッドセットを消費者に届けるためのテクノロジーはまだ揃っていない」と報道に語り、この分野の製品が「市場に出るまでにはしばらく時間がかかるだろう」と警告した。これは少なくともWindows HoloLensのことを遠回しに言っているものと思われ、Magic Leapをはじめとする他社製品も指しているかもしれない。

Appleはこの未来機器の計画を今も固めているところだとBloombergは言っているが、対話方式についてはタッチ式入力、Siri音声入力、さらにはヘッドジェスチャーなども研究しているようだ。チームはアプリケーションもメッセージング、バーチャル会議、360度ビデオ、ナビゲーションなどを開発中で、このデバイスのためのApp Storeを作る可能性もある。

テストは社内でHTC Vive、およびiPhone画面を使うSamsung Gear VRに似たデバイスで行われているとBloombergは伝えている。Appleは最新のMacでVRコンテンツ開発のために外部GPUとHTC Viveに対応しており、これも動機の一因かもしれない。記事によるとAppleはARKitの新バージョンを2018年に公開する予定で、このデバイスをターゲットにした体験を開発する道を拓くものだ。

Appleは様々な実験プロジェクトを立ち上げているが、全部が製品化されるわけではない。しかしCookがARとその将来の可能性について語る様子からは、Appleが単なるテクノロジーへの興味以上の力を入れていることが見て取れる。

[原文へ]

（翻訳：Nob Takahashi / facebook ）

交通騒音も路上と室内では違う…3D空間内の複雑な音響編集を助けるResonance AudioをGoogleが発表

拡張現実(augumented reality, AR)は、コンピューターとの対話を三次元化するという展望により、徐々に伸びつつあるが、すでにいろんなプラットホームを提供しているGoogleは、その三次元空間に視覚だけでなく五感のすべてを持たせたいようだ。

今日（米国時間11/6）Googleは、同社のVR Audio SDKをベースとして、より総合的な空間オーディオプロダクトResonance Audioをモバイルとデスクトップ両用に作っていることを発表した。

Googleの説明によるこのSDKの用途は、“本物の音が人間の耳や環境と対話する”様相を再現することだ。たとえば、現実の音が物や環境によって歪むという現象も、ARの仮想的シナリオにおいて再現する。

たとえばあなたが大型ラジカセを持って歩いている仮想キャラクターだとすると、何かの曲を鳴らしながら開放的な空間を歩いているときと、吹き抜け階段を降りているときとでは、音はどう違うのか？　Resonance Audioが対応しているこのような多様な状況により、ユーザー（デベロッパー）もそんな状況を三次元の奥行きの中で音で再現できるようになる。

またResonanceはデベロッパーがシーン中の音源を指定できるだけでなく、音源が動く方向も音質の変化で表すので、たとえばあなたがデジタルのキャラクターのうしろを通るときと、顔の前を通るときでは、反響音を変えられる。

上で例を述べたようなさまざまな状況の変化は、ゲームのデベロッパーにとってはおなじみのものだが、しかし複数の（数十の）音源が同時にいろんな状況で対話的に鳴るといった複雑な設定では、その対応も難しい。CPUはビジュアルにかかりっきりで忙しいことが多いから、音の表現のこのような複雑性は予想外の困難性をもたらし、結局ベーシックなオーディオだけで発売してしまうこともありえる。Resonanceはたとえば、一部の音のリバーブを、いろんな環境ごとに事前に作っておくといったトリックにより、音のリアルであるべき対話性が時間的にずれる、といった問題を解消する。

ResonanceはUnityやUnrealのようなゲームエンジンとも併用でき、またいろんな音響編集作業のためのプラグインも用意しているから、既存のワークフローとの相性も良いだろう。

GoogleはVRやARの基盤的技術への関心をベースとして、さらにそれらをゲームの開発に応用しようとしているようだ。先週Googleが見せたPolyは、3Dのアセットや環境のためのホームだ。そしてResonance Audioが空間的オーディオを提供し、よりリアルな音の開発を容易にする。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa）

Amazon、iOSアプリにARショッピング機能を追加

本日（米国時間11/1）Amazonは、AR Viewと呼ばれる新機能を公開した。ユーザーはスマートフォンのカメラを使ってオンラインの製品を実生活空間の中で見ることができる。AR Viewは今日からiOSデバイス用Amazonアプリに追加され、家庭やオフィス向け製品数千種類 ―― 家具、電子機器、おもちゃ、ゲーム、室内装飾等々 ―― を拡張現実の中で見られる機能を提供する。

同社は以前にも自社アプリでAR技術に手を出したことはあったが、AR stickerという方式だった。この”shoppable stickers”は対象商品が少なく、太くて白い縁取りがなされたマンガ的デザインはまるで本物のステッカーのようで、あまり役に立つとはいえなかった。

しかし他の多くの小売業者がARの導入に力を入れており、中でも家具販売では特に積極的なのは、実際に家に置いたときどう見えるかがわからないのでオンラインでの販売が難しいからだ。多くの客はショウルームへ行ってランプやじゅうたんなどの装飾品とあわせて部屋に置かれている家具を見ることを好む。

拡張現実（AR）はこうした行動を変える可能性を秘めている。消費者は展示用に作られた部屋ではなく、自分の部屋に置いたところを想像できるからだ。

最近、Target、Wayfair、IKEAなどいくつかの小売業者が、ウェブサイトやアプリにARショッピング機能を導入している。

IKEAの実装方法と同じく、AmazonのAR ViewはAppleのARKitを利用している ―― サードパーティー開発者がモバイルアプリにAR機能を簡単に付加できるソフトウェアだ。このため、AmazonアプリのAR ViewはiPhone 6s以降のハードウェアで最新オペレーティングシステムのiOS 11が動作していないと使用できない。

新機能を使ってみるには、まずAmazonアプリのカメラアイコンをタップする ―― これまでバーコードをスキャンしたりビジュアル検索していたのと同じアイコンだ。次に表示されたメニューで “AR View” を選ぶ（AR ViewはAR stickersを置き換えたのではないようで、まだ残っている）。

表示された画面でトップメニューをスワイプしていくと、リビングルーム、室内装飾、ベッドルーム、キッチン、電子機器、おもちゃとゲーム、などのカテゴリーを選べる。”top pick”［厳選］セクションもあって現在はEchoスピーカーも入っている。

ただし、商品セレクションの中にはどこまで役に立つのかわからないものもある ―― 黄色いおもちゃのトラックやEcho Dotを買う前に、ビジュアル化する必要があるか？しかし家具などの大きなものやキッチン家電などカウンタートップに置くものに関しては便利かもしれない。

AR Viewの画面では、商品を移動、回転させて360度ビューで見ることができるとAmazonは言っている。

AR Viewは現在iOSデバイス向けに公開中で、Amazonのブラックフライデーセールのニュースとともに発表された。

発表文の中で同社は、これでAmazonにはARを含め様々なショッピング方法が揃ったことを強調した。おすすめ商品を一覧できるInteresting Findsや、実際に町を走る “Treasure Trucks” 、リアル世界のAmazon書店、ホリデー・トイ・リスト、ギフトガイド、ハンドメイドショップなどが用意されている。

[原文へ]

（翻訳：Nob Takahashi / facebook ）

AR/VRのWeb上の標準的なサポートとは？…Mozillaがそれを独自のJSライブラリWebXRで実験中

現時点ではVRやARの有用性を疑問視する声もあるが、開発とデプロイをもっと容易にしろ、という意見では全員が一致するだろう。とくに問題なのが、Web上だ。そこでMozillaは、総合的なフレームワークに取り組むことによってデベロッパーに、ユーザーが選んだ（多様な）混成現実のプラットホームにアクセスするための、標準的でドキュメンテーションの充実したツールを提供しようとしている。

Web上では基本的に何でも、デスクトップブラウザーとモバイルの両方に容易にデプロイしようとすると、難しくなる。これにVRやARのヘッドセットなど混成現実の要素が加わると、さらに難しい。だからWeb上でVR/ARが本格化するためには、容易なデプロイが必須条件だ。

Mozillaは以前、Googleなどと共にWebVR APIを作った。それにより昨年は、ブラウザーが面倒なプラグインなしでVR体験を提供することができた。上述の‘総合的なフレームワーク’仮称WebXRは、そのAPIの拡張で、WebVRに拡張現実(AR)の要素を加える。だからここでは、‘総合的’とは‘混成’という意味だ。

つまり、AR/VRのいろんな概念、たとえばオブジェクトのアンカーリングなどの実装が、ARCore, ARKit, Hololensなどプラットホームごとに異なっていても対応できる共通言語を作ろう、というのだ。けっこう、たいへんな仕事である。今回Googleはパートナーしていないが、しかしMozillaのこの仕事は、ほかの企業の既存のデモに対する補完および互換性をねらっている。

Mozillaの主席研究サイエンティストBlair MacIntyreは、こう説明する: “WebでARをどうやって実装するか、前にGoogleの連中と話し合ったことがある。そのときは彼らがWebARでやった実装例に対するフィードバックを彼らに見てもらったが、そのときの経験から、今作っているJavaScriptのライブラリWebXRは、彼らのアプリでも使えて、また一般的にデベロッパーが自由に自分の好きなアプリで、これらのWeb上の新しい技術〔AR+VR on Web〕を実験できるものでなければならない、と思っている”。

WebVRを完全にリプレースするものではないが、今後のことはまだ分からないから、そのスタンダードでARの実装が相当変わったりしたら、その実用性が危ういのではないか。

MacIntyreはこう語る: “長期的には、WebVRが進化してARもできるようになることが、最良の結果かもしれない。それほど大きな変更にはならないし、APIはそのままWebVRと呼ばれるだろう。あるいはコミュニティが、もっと広範な抜本的な変化を望めば、それがWebXRあるいはWebMRと呼ばれるかもしれない”。

というわけで現状のそれは、本格的な提案というより、デベロッパーたちによる自発的な実験だ。それはデスクトップのFirefoxをサポートしており、iOSのApp StoreにはWebXR Viewerがある。それらを試してもよいが、でもデベロッパー以外の人は単純に待つべきかもしれない。

提案および、わずかばかりの実験は、GitHubでチェックできる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

ReactとJavaScriptで仕事をしているデベロッパーがアプリに容易にAR効果を導入できるViro Media

ARやVRも、ゲームを作るならUnityやEpic Gamesなどに最高のツールがある。でもそれらは、ゲームのデベロッパー以外の人にとっては、ちょっと近寄りがたい。そこでViro Mediaは、Webやモバイルのデベロッパーに、ゲーム以外のAR/VRアプリを簡単に作れる方法を提供する。

Viroは、ふだんJavaScriptとReactを使ってお仕事をしているデベロッパーを、拡張現実の楽しさに近づける。そしてiOS 11のARKitを完全にサポートしているので、ARによる自撮りフィルターとか、Magic Portalsのようなアプリを容易に作らせてくれる。

同社のVR志向については、今年の3月にSoftbank NYやLowercase Capital, Betaworksなどから250万ドルを調達したときに本誌も取り上げた。そして今回はARKitをサポートし、近くGoogleのARCoreもサポートするそうだから、ARという新しい技術に向けて最適化されている非常に多くのデバイスにアクセスできることになる。VRのヘッドセットはまだそれほど多くないけど、ARKitは世界中で5億台もあるAppleのデバイスをサポートしている。

同社のサンプルアプリFigment ARを見ると、このプラットホームの実力を理解できる。デベロッパーは彼らの新旧のアプリに簡単にいろいろなイフェクトを導入できる。しかも遊びやゲームだけでなく、Viroはエンタープライズの顧客向けにも最適化されている。

これまでのAR体験は、相当小細工的なものが多かったが、WebとモバイルをサポートするViro Mediaを使えば、既存のアプリにAR機能を容易に付加できる。そしてデベロッパーたちは、すぐにでも実験を始められる。

ViroのARプラットホームは、無料で今から利用できる。ここで、ユーザー登録をしよう。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

ハンズフリーARヘッドセットのMira（製品名Prism）の将来性に投資家も着目、が二度目の資金調達で$1M、最初の1000台をデベロッパー向けに出荷、SDKもリリース

昨日（米国時間9/19）のiOS 11のリリースと共に、スマートフォン上のARが熱いニュースになりつつあるが、しかしMiraは、iPhoneによって消費者向けのハンズフリーのヘッドセットを使うARの世界も開けた、と期待している。

今日MiraはSDKをリリースし、著名なVCたちからの資金調達も発表した。

同社のPrismは比較的シンプルな構成だ。副次的な部位やセンサーなどはない。その巧妙な設計/デザインにより、同社がターゲットとねらう人びとの関心を集めつつある。

今年初めのシードラウンドは投資希望者が予定枠を超えるほどの人気で、Sequoiaのリードにより150万ドルを調達した。そして今日同社は新たに、Greylock Partners, Founders Fund Angel, およびMacro Venturesから100万ドルを獲得した。

さらに同社は、ヘッドセットの最初の1000台をデベロッパー向けに発送し始めた。99ドルのPrismの予約売上の総台数は分からないが、消費者もデベロッパーも今でもまだ予約注文が可能だ。対応アプリはiPhone 6, 6S, 7, 8をサポートしている（デバイスのサイズによって違いがある）。

iPhone Xの場合は、ARを体験するためにはMiraのアップデートを待たなければならない。でも今開発中の“バージョン1.5”なら、いろんなサイズのデバイスをサポートするそうだ。

今日（米国時間9/20）は、デベロッパー向けの発送の次のステップとしてSDKをリリースし、コンテンツのパートナーたちがハンズフリーならではのクールなアプリケーションを作ってくれることを同社は期待している。同社に限らずヘッドセットは、デベロッパーをやる気にさせることが、最大の課題だ。

〔[MiraのヘッドセットPrismの宣伝ビデオ]

〕

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

Unityのプラグインで各種ARプラットホームの違いを吸収する8th Wallが未来でなく今のスマートフォンARの活況を展望

拡張現実のスタートアップは、その多くが、スマートグラスの常時着用がもたらす未来の世界にフォーカスしている。しかしARは、今現在のモバイルデバイスの使い方にも、私たちがまだ見たこともないような変化をもたらし得る。

でもこれまでARのそんな使い方の多くは、最新かつ最高性能のハードウェアを必要とした。そこへ、FacebookやGoogle出身の技術者たちが作った8th Wallは、今あるスマートフォンの90%以上で使える技術によって、スマートフォンARのリーチを広げようとしている。

Palo Altoに拠を構える同社のより大きな目標は、スマートフォンARアプリの開発をこれまでの10倍早くし、ネイティブのARライブラリを有効利用し、あるいは必ずしもスマートフォンのセンサーやカメラなどを使わなくても、十分なAR体験を実現することだ。

今日同社がローンチしたUnityデベロッパー用の無料のプラグインXRを使えば、拡張現実のアプリを作って実験することができる。同社はまた、Norwest, Betaworks, VR Fund, SV Angel, Greylock, そしてThird Kindらからの240万ドルの資金調達を発表した。

8th Wallの協同ファウンダーErik Murphy-Chutorian

8th WallのXRソフトウェアで、光や面の推定、シーンディスプレイのキャリブレーションなど、物理的世界の中にデジタルオブジェクトをシームレスに置き、それらが環境に反応できるために必要な機能を実装できる。

“ARをネイティブに設計するやり方は、まだ誰も知らない”、Betaworksの投資家Peter Rojasはそう語る。“モバイルの初期のころを、思い出してしまうね”。

8th Wallの最大の売り物は、すでにそこらにあるさまざまなARプラットホームを横断して開発ができるとともに、個々のデバイスの特徴も利用していく点にある。

“いろんなプラットホームがばらばらでも、それらを橋渡しできるし、またXRで十分な付加価値を与えることができる”、8th Wallの協同ファウンダーErik Murphy-Chutorianは、こう語っている。

そのプラットホームは、AppleのARKitやGoogleのTangoなどさまざまなARプラットホームをシームレスに統合し、またiPhone 5C以降やKitKat以降のAndroidなど、あまりロバストでないデバイスでも、3DoF(three degrees of freedom, 3次元方向) ARの機能をやや制限つきで実装できる。チームは今後、サポートする機種をもっともっと増やしたい、と言っている。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

ビデオ編集時に画面から何かを取り去ったり加えたりする技術を持つFayteqをFacebookが買収

Facebookは、ビデオを編集するとき、画面中のオブジェクトを取り去ったり新たに加えたりできるコンピュータービジョン応用のソフトウェアを作っているドイツのFayteqを買収した。買収を最初に報じたのはドイツのスタートアップ情報誌だが、アメリカではVariety誌だった。本誌TechCrunchも事実を確認したが、Facebookはビデオフィルターを、ライブのストリーミングとInstagramのStories的なプラットホームの両方で充実させようとしているから、そのための買い物だろう。

ライブのビデオから何かを取り去ったり、加えたりするのは、これから流行ると思われる拡張現実(AR)の得意ワザでもある。Facebookは今年の4月のF8カンファレンスで、その内蔵カメラ用のARプラットホームをローンチし、スマートフォン上のFacebookで使うAR体験をデベロッパーたちが積極的に作るよう、仕向けている。Mark Zuckerbergによればそれは、“メインストリームになる初めての拡張現実プラットホーム”だそうだ。

このプラットホームには、スマートフォンのカメラで撮った現実世界のオブジェクトを認識する機能や、それらのオブジェクトにエフェクトを加える機能もある。AppleはiOSのARKitで、Facebookと同じことをシステムレベルでやるらしいから、仮想オブジェクトをシーンに加えるのがずっと簡単になるだろう。

Fayteqの特技によりFacebookは、この分野を一層充実させていくだろう。そのIPと特許がFacebookのものになったことによって、ARへの注力がなお一層明確になると思われる。

Facebookは買収を確認したが、今後の計画についてはまだ何も発表がない。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

目の画像だけからVR体験中のユーザーの気分や感情を判断するディープラーニング技術

[↑幸せ: 確率0.90]

目を見れば、それが本当の笑いか分かる、とよく言われる。もちろんその言葉は、私たち人間には、偽（にせ）笑いという、生得ではなく学習によって身につけるスキルがあることを、意味しているにすぎない。でも、人間の眼球に微妙な表現力があることが、役に立つこともある。VRの研究者たちが、目の画像だけから表情全体を推測する技術を編み出したのだ。

Google Researchが発表したその、おもしろい小さなプロジェクトは、VRヘッドセットを装着した人間の目だけを見て、表情を判断する。開かれた目の形、視線の方向、まぶたの状態、目尻の皺（がある人の場合）などなどを総合すると、実は相当大量の情報がそこにはあるのだ。

[↓無感情: 確率0.91]

ディープラーニングのシステムにとっては、いくつかのベーシックな表情と、その程度・度合いを表す測度があれば十分だ。たとえばそこには、“幸せ(Happiness)”や“驚き(Surprise)”があるだろう。ベーシックとは言えない“schadenfreude”（ひとの不幸を喜ぶ）や“mischief”（おちゃめ）などは、もっと学習しないとだめだけど。

もちろん実用化のためには、ヘッドセットの中にアイトラッキングのカメラが必要だ。そうすれば、ユーザーの今の気持ちや感情がリアルタイムで分かるようになる。

この研究を記したペーパーもあるし、それを近く開催されるSIGGRAPHで見ることもできる。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））

関連記事