人の動きを撮るだけでなく動きの意味(ボディーランゲージ)を理解するCMUの巨大ドーム型スキャナー

Panoptic Studioは、カーネギーメロン大学(CMU)の研究者たちが作ったボディースキャナーで、現実の状況の中でボディーランゲージを理解するために利用する。このスキャナーは、映画「バック・トゥ・ザ・フューチャー」の中でブラウン博士がマーティに、仲間殺しを防ぐために取り付ける物に似ていて、大きなドームの中で対話したり、お話したり、争ったりしている参加者を撮った何百ものビデオを作る。チームは、体の位置をプログラマーが理解するためのコードまでリリースした

このドームにはVGAカメラが480台、HDカメラが31台、Kinectのセンサーが10ある。それらは、ドームの中の参加者のワイヤフレームモデルを作る。なぜ? 彼らが考えていることを、コンピューターに教えるためだ。

准教授のYaser Sheikhはこう言う: “私たちは、声と同じぐらい、体の動きでコミュニケーションしている。いずれにしても、コンピューターはそのことを知らないけどね”。

下のビデオでは、あるグループが何かについて言い争っているところをスキャンした。コンピューターは手や頭のさまざまな位置と、言葉のコミュニケーションがあればそれも見て、二人が怒っているか、ハッピーであるか、議論しているのか、などを理解し始める。コンピューターに、何かを指さすなどのジェスチャーも理解させると、システムは話の対象…何について話をしているのか…も理解するようになる。

そうやってコンピューターがボディーランゲージを理解するようになると、自閉症や言語障害の人たちのしぐさを、リアルタイムで解読できるようになる。またこのシステムを団体戦のスポーツで使うと、各選手の気持ちや意思などを、彼らがいつどこにいたかも含めて、理解できるようになる。

プレスリリースより:

複数の人間をリアルタイムで追跡することには、とくにお互いがコンタクトしているようなソーシャルな状況では難問がいくつかある。単純に個人の姿勢を追うようなプログラムは、各個人がグループ内にいる状況では使えない。グループが大きいときには、とくにそうだ。Sheikhと彼の同僚たちは、ボトムアップのアプローチを採った。ひとつのシーンの中のすべてのボディーパーツをまずローカライズし(腕、足、顔、などなど)、次にそれらのパーツを特定の個人に結びつけるのだ。

 

このPanopticonはまだ、Super Bowlや、あなたのお近くのDenny’s(デニーズ)で使えるほど完成してはいないが、人びとの四肢やアクションの、さまざまな点雲に基づいて、彼らが今何をしているのかを当てることはできる。今あなたが、だれかをはたいたことも分かるのだ。

“この装置では、1回の撮影で各人の手の500のビューが得られる。また手の位置を自動的に注記する”、と研究者のHanbyul Jooは語る。“手はとても小さなオブジェクトだから注記は難しい。だから今はHDカメラを31しか使ってないが、しかしそれだけでも、大量のデータ集合が作られるのだ”。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

100ミクロンの高精度3DスキャナEora 3D ScannerはKickstarterで199ドルと超安価

1d05e283773f26ef6c112f6f46e96015_original

うちの家族のような原始人は、3Dスキャンが人の魂を盗み取ると信じていて、立体画像の持ち込みすらうちでは許されない。でもEora 3Dスキャナなら、もしかして許されるかもしれない。相当複雑なマシンなのに外見がとてもシンプルで、しかもカメラをたった一つしか使わないからだ。

これを作ったオーストラリアのシドニーのRahul KoduriとAsfand Khanは、太陽光を一点に収束する研究をしている人たちだ。そこから生まれた3Dスキャナは今、Kickstarterで資金を募集している。

Koduriはこう説明する: “Eora 3D Scannerは、手ごろな値段の高精度な3Dスキャナがほしい、という自分たちのニーズから生まれた。太陽光発電の効率を上げるために、朝から夕方まで太陽の位置を追うパラボラアンテナみたいな装置を作ろうとしていた。その設計と仕様作成のためには高精度な3Dスキャナが必要だったが、100ミクロン以下の精度のものは、5000ドル以上もする”。

自作を決心した彼らはプロトタイプを作り、理想の仕様に到達した。

そのシステムは物の表面をグリーンのレーザーでスキャンする。レーザーはBluetoothでスマートフォンのカメラに接続し、物の点群(point cloud, ポイントクラウド)を驚異的な精度で作り出す。しかも、小型のスキャナにしては珍しく、フルカラーでスキャンする。

“Eora 3D Scannerにはグリーンのレーザーがあり、またカメラのCMOSセンサはグリーンのスペクトルへの感度がとくに高い(通常の2倍)ので、屋外などいろんな条件で3Dスキャンができる。人間という動物も緑の中で進化してきたから、グリーンのスペクトルに対する感度がとくに高い”、とKoduriは語る。

これで作った3Dモデルは、ゲームや3Dプリント、プロトタイピングなどに使える。彼らがデモとして見せてくれたAssassin’s Creedのキャラクターのスキャンは、わずか一回のスキャンでびっくりするほど詳細だ。スキャンに要する時間は、単純な物なら3分ぐらい、複雑な物ならもっと時間がかかる。自動ターンテーブルがあるので、物のすべての面を100ミクロン以下の精度で捕捉できる。

Cup Face
by eora 3D
on Sketchfab

Kickstarter上で初期の支援者には199ドルで提供される(目標額は50000ドル)。その目標額はとっくに突破しているから、これからは誰もが安価に、見事な3Dスキャンを楽しめる。その楽しさを知ろうとしない、うちの家族が気の毒だ。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa)。