カーネギーメロン大学発先進「触覚センシング技術」の社会実装を推進するFingerVisionが1億円のシード調達

カーネギーメロン大学発「触覚センシング技術」の社会実装を推進するFingerVisionが1億円のシード調達

FingerVisionは3月23日、シードラウンドとして、第三者割当増資による総額1億円の資金調達を実施したと発表した。引受先は、慶應イノベーション・イニシアティブ(KII2号投資事業有限責任組合)。大学発の「視触覚」技術の実用化を通じロボット・機械の適用範囲を広げ、様々な社会課題を解決することを目指しており、調達した資金により経営・開発体制を強化し、触覚センシングデバイスやロボットハンド、業界向けソリューションを実用化するという。

今後、様々な分野においてロボット化・AI化の流れがさらに加速すると予想されるものの、「触覚」の⽋如が実世界におけるロボット・機械の適⽤範囲を限定されているという。そこでFingerVisionは、同社の触覚技術でロボットの⾏動⽣成能⼒を向上させることで、⼈⼿をかけて対応せざるを得なかったタスク(特に過酷・劣悪な労働環境、危険な作業など)をロボットが担えるようにする。

同社は、ロボットの活⽤範囲を広げることについて、社会システムにおける人の役割・ロボットの役割を再定義することにつながると指摘。より良い社会のあり方を実現するための具体的な解決策の1つとして、革新的かつ実用性の高い触覚技術・ロボット技術を提示し続けるとしている。

FingerVisionは、コア技術のコンセプトとして「画像(カメラ)をベースに触覚を再現する」を採用。ロボットハンドなどの指先に搭載することで、触覚(力や滑りの分布など)を知覚できるようになり、あたかも人が「手のひら」の感覚を使って物体を扱うような制御をロボットで実現できるという。

この技術は、カーネギーメロン大学において、同社取締役の⼭⼝明彦氏がロボットAIやAIベースドロボットマニピュレーションの研究を進める中で、食品など従来のロボットが扱うことが難しかった対象物を操作する研究の過程で、Christopher Atkeson教授とともに生み出したものがベースという。基礎的なアルゴリズムなどを研究をしつつ、実用性も強く意識し研究を進めた経緯から、高機能(高分解能・マルチモダリティ)でありながら、経済性に優れる実用性の高さを特徴とするそうだ。

「触覚」センサーとはいいつつも把持対象物を見る(視覚)モダリティも備えた、まったく新しいコンセプトの「視触覚センサー」であり、ロボットと組み合わせたプロセス自動化だけでなく、無限の応用可能性を持つとしている。
カーネギーメロン大学発先進「触覚センシング技術」の社会実装を推進するFingerVisionが1億円のシード調達

視覚障がい者向けの触覚ディスプレイ「Dot Pad」

点字は視覚障がい者に広く利用されているが、ウェブやスマートデバイスのアクセシビリティが幅広く向上しているにもかかわらず、点字読書器のハードウェアの技術革新は基本的に滞っている。今回Dot(ドット)が開発したスマート点字デバイスは、文字を表示するだけでなく、画像を触覚で表現することができる。このことは教育や利用できるコンテンツにまったく新しい層を開く可能性がある。

同社のDot Pad(ドットパッド)2400本のピンが画素のように並んでおり、それらをすばやく上下させることで、点字文字や識別しやすい図形をかたち作ることができる。300文字分の点字表示領域を持ち、下部には20文字が表示できる従来のような直線領域がある。重要なことは、このデバイスがApple(アップル)の画面読み上げ機能VoiceOver(ボイスオーバー)に直接統合されていることで、この結果テキストやアイコンラベル、さらにはグラフや単純な画像をタップするだけで読み上げられるようになっていることだ。

韓国を拠点とする同社は、共同創業者のKi Kwang Sung(キ・クワン・ソン)氏とEric Ju Yoon Kim(エリック・ジュー・ユン・キム)氏によって創業された。彼らはコンピューターやインターフェースがこれだけ進化しているにもかかわらず、学習や読書のための選択肢がないことにうんざりしていたのだ。

デジタル点字ディスプレイはこれが初めてではない。このようなデバイスは何十年も前から存在していたが、その台数も機能も明らかに限られていた。デジタル文字を読むための点字ディスプレイが一般的だが、これは長年変わっていない古くさく不格好な1行表示機械で、他のやはり古くさいソフトウェアやハードウェアに依存したものであることが多い。

また、一般にこれらの機器は、子どもや学習を意識して作られていない。視覚障がいのある子どもたちは、教科書がなかったり、視覚障がいを考慮した活動が行われていないなどの、多くの社会的ハンディキャップに晒されている。そのため、ある子どもの両親は、幼児レベルで点字を教えることができる玩具BecDot(ベックドット)を開発した

ソン氏は「21世紀にもなって、視覚障がい者がグラフィカルな情報にデジタルな手段でアクセスできないのはおかしなことです」という。「教育、仕事、ソーシャルネットワークサービスなど、あらゆる業界でさまざまなイノベーションが起こり、グラフィック情報の要求が高くなっています。しかしそれが意味していることは視覚障がい者の切り捨てです。パンデミックの状況でも、障がい者のためのリモートワークや教育手段は必須だったのですが……そのためのソリューションがなかったのです」。

そこで2人は、一般人が当たり前のように使っているピクセルベースの画像や表現に、視覚障がい者がアクセスし、操作できるようなモニターを作ろうと考えたのだ。

画像クレジット:Dot

点字リーダーは一般に、ピンを必要に応じて上下させるために何百もの小さなヒンジとギアに依存しているので、非常に複雑な機械だ。また、継続的に触れることによる圧力に耐えられるような頑丈さも必要だ。これまでにも、権威ある研究機関からさまざまなイノベーションが生まれていたものの、実際に市場に出たものはなかった。Dotは、より優れた高性能のハードウェアを提供するだけでなく、スマートフォンやタブレット端末とのより深い連携によって、すべてを変革しようとしている。

Dot Padの革新性の核となるのは、やはり「ドット」そのものだ。この小さなピン(点字1文字につき6本)を何十本、何百本と、いかに確実に、すばやく(大きな音を立てずに)伸縮させるかにに対して、さまざまな解決策が生み出されてきたが、Dotのものはまったく新しい解だ。

画像クレジット:Dot

ソン氏は「スピーカーのメカニズムから発想しました」と説明する。彼らは、スマートフォンのスピーカーを振動させている小さな電磁アクチュエーターを、ピンの上下に利用することした。上下の位置で簡単にロックでき、すばやくロックを解除して引っ込めることができる磁気ボールローターを採用している。全体の大きさは、これまでの機構の数分の一で「既存の圧電点字アクチュエーターに比べて、10分の1ほどです」とソン氏はいう(Dotは、その仕組みを示す概略図やピンの断面図を私には見せてくれたが、それらを一般に公開することは拒否した)。

つまり、文字として読める大きさでありながら、画像を表すパターンを形成するのに十分な密度を持つピンを、わずかな間隔で何千本も並べたグリッドを作ることができたのだ。ドットパッドの下部には、伝統的な点字のための専用セクションがあるものの、メインのグリッド側は何よりも「触覚ディスプレイ」と表現した方がよいだろう。

私は量産前の試作機で遊ぶことができたが、それは非常にうまく機能し、画面全体を上から下へと約1秒でリフレッシュし(これも現在改善されていて、アニメーションも可能になりつつある)、ユーザーの手で容易にスキャンできるように思えた。どちらのディスプレイも、ピンの保護スクリーンを採用していて、簡単に交換することができる。ピンユニットそのものも簡単に交換できる。

Dotのもう1つの大きなアドバンテージは、Appleとの協力だ。Dot Padは、ジェスチャーで起動することが可能で、ハイライトされたものを瞬時にディスプレイ上に表示することができる。以下の動画で、その様子を見ることができる。

そして、iOS 15.2には開発者向けの新しい「触覚グラフィックスAPI」が用意されていて、アプリはこの機能を取り入れたり微調整したりできるようになっている(私はこのAPIについてAppleにコメントを求めたので、もし返信があればこの記事を更新する)。

キム氏は「世界中の多くの視覚障がい者がiPhoneやiPadを利用していますが、これは業界をリードする画面読み上げソフトVoiceOverのおかげです」という。「Dotの触覚技術がVoiceOverに最適化されたことで、デジタルアクセシビリティが拡大することを大変うれしく思っています。音声や文字として点字を超えて、ユーザーのみなさんが映像を感じ、理解を高めることができるようになりました」。

もちろん忠実度という意味では制約されているものの、アイコンや線画、グラフなどをうまく表示することができる。例えば、株の記事の中のグラフを想像して欲しい。目の見える人なら一目で理解できるが、そうでない人は、VoiceOverに組み込まれた、グラフを上昇と下降の音で表現するような、別の方法を見つけなければならない。ないよりはましだが、理想的でないことは確かだ。Dot Padは、VoiceOverと独自の画像解析アルゴリズムにより、ディスプレイ上の任意の画面領域や要素を表現しようとする。

文字も、1ページ分の点字(通常のように間隔をあけて並べる)か、文字そのものの形で表現することができる。これにより、ロゴの書体などをよりよく理解することができる(点字には当然セリフ[文字の端にある小さな飾り]はない)。実際、大型の活字を触感を使って体験するというのは、なかなか面白そうだ。

画像クレジット:Dot

さらに大切なのは、子どもたちにとってすばらしい材料となることだ。視覚障がいのある子どもは多くのことを見落としているが、Dot Padを使えば他の人たちが当たり前と思っている家や猫などの文字や形、単純なイメージなどを簡単に描くことができるようになる……視覚障がい者のコミュニティにおけるK-12教育(幼稚園から高校までの教育過程)に新たな変革が加わる可能性があるのだ。

これはもちろん、一般的なデバイスと密接に連携できるおかげだ。つまり特殊な状況だけで使えるリソースというわけではない。iPhoneやiPadは、現代のデジタル機器としてユビキタス(普遍的)なだけでなく、Dotが活用できる強固なアクセシビリティ機能群を備えている。

もちろん、音声を使ったインターフェースが大幅に改善されたことは、グラフィカルなインターフェースを使えない人々にとって非常に大きな力となったことは事実だが、特に読書や学習の場面ではいまでも点字が重要な選択肢であることに変わりはない。技術によって機会が阻害されることがないように、こうした手法はさらに 改善されなければならない。

コミュニティからのフィードバックは好意的であるという。ソン氏は「みなさん限界よりも可能性を中心に考えていらっしゃいます」という。彼らは早い段階から、画像のレンダリングを改善するために「ピクセル」数を増やしており、Dot Padに適したカスタムグラフィックスのライブラリに取り組んでいる。このため、たとえばTwitterのロゴがソフトウェアに認識された際に、毎回輪郭をスキャンするのではなく、代わりに独自のバージョンを使うことができる。

Dotは、2023年にローンチ予定のAmerican Printing House for the Blind(盲人のための米国印刷協会)とHumanWare(ヒューマンウェア)が率いるDynamic Tactile Device(動的触覚デバイス)プロジェクトで、その中核技術を利用できるようにする予定だ。開発者コミュニティにはAPIの経験に対する議論に加わる機会がある。

画像クレジット:Dot

将来の機能計画には、写真の触覚表現が含まれている。必ずしも画像そのものではなく、レイアウト、人物の位置と説明、その他の情報がディスプレイに表示される可能性がある。また、ピンを中間の高さで固定し、手触りのグラデーションなどに利用する方法も研究している。また、パッドは表示だけでなく、入力としても使える可能性がある。ピンを押して、画面の適切な部分にタッチ信号を送ることができれば、また別の便利な機能となるだろう。

もちろん、これまでの点字ディスプレイと同様、Dot Padも安くはないし、シンプルでもない。しかし、他の類似製品よりは安くてシンプルとなる可能性はある。製造や組み立ては簡単なことではないし、特に今はチップやその他の部品の価格が高騰しているため、トータルコストは口にしにくい(主に自動車の窓のコントロールスイッチに使われていた小さなICを数千個使っており、今その価格は高騰している最中だ)。

幸いなことに、これこそ誰もお金を払う必要のない機器であり、補助金などの制度も数多く用意されている。子どもたちは学校で使う机のような、どうしても必要なものにお金を払う必要はない。そして、障がい者が良い教育を受けられるようにすることは、すべての人の利益につながる。アクセシビリティの向上は、それ自体ももちろん歓迎すべきことだが、これまで学べなかった人、参加できなかった人が、ようやく仕事に参加できるようになるという大きな連鎖反応があるのだ。

Dotの創業者たちは、韓国政府や米国政府、盲人社会、支援団体と協力し、Dot Padをカリキュラムに組み入れ、既存の資金や方法を使って費用を賄っているという。触覚グラフィックスAPIの詳細については、こちらおよびAppleの開発者向けサイトで確認できる。

画像クレジット:Dot

原文へ

(文:Devin Coldewey、翻訳:sako)

フェイスブックの研究者がロボットに触覚を与える皮膚と指先を開発

Facebook AI Research(フェイスブックAIリサーチ)によると、次世代のロボットは「感じる」性能がより向上するという。ここでいう「感じる」とは、もちろん、感情という意味ではない。感触のことだ。AIとロボット研究においては比較的新しいこの分野を前進させるため、同社とそのパートナーは、安価で耐久性があり、信頼できる基本的な触覚を提供する新しい種類の電子皮膚と指先を、我々の機械の友人たちのために作り上げた。

なぜFacebookがロボットの皮膚を研究しているのかという疑問は、AI責任者のYann LeCun(ヤン・ルカン)氏が新しいプロジェクトを紹介するメディアコールで真っ先に取り上げたことで明らかだろう。

おもしろいことに、ルカン氏は「会社がロボット工学に取り組む理由はないようだ」とZuckerberg(ザッカーバーグ)氏が指摘したことから始まったと振り返った。ルカン氏はこれを挑戦と捉えて、ロボット工学に取り組み始めたらしい。しかし、やがて明確な答えが浮かび上がってきた。Facebookがインテリジェントなエージェントを提供するビジネスを展開するのであれば(自尊心のあるテクノロジー企業であれば、そうするのではないだろうか?)、そのエージェントは、カメラやマイクで捉えられる情報を超えた世界を認識する必要がある。

触覚は、それが猫の絵なのか犬の絵なのか、あるいは部屋の中で誰が話しているのかを判断するのにはあまり役に立たないが、ロボットやAIが現実世界と交流しようとするならば、それ以上のものが必要になる。

「私たちはピクセルや外見を認識することに関しては得意になってきました」と、FAIRの研究員であるRoberto Calandra(ロベルト・カランドラ)氏はいう。「しかし、世界を認識するには、それだけでは不十分です。そのためには物体を物理的に認識できるようになる必要があります」。

カメラやマイクは安価で、そのデータを効率的に処理するツールもたくさんあるが、触覚に関しては同じようなわけにはいかない。高度な圧力センサーは一般消費者向けには普及していないため、有用なものは研究室や業務用に留まっている。

2020年にオープンソースとして公開されたDIGIT(ディジット)は、パッドに向けられた小さなカメラを使って、タッチしているアイテムの詳細な画像を生成する。トップ画像はこの「指先」自体が写っているが、これは非常に敏感で、下の画像で見られるように、さまざまな物に触れて詳細なマップを作成することができる。

画像クレジット:Facebook

この「ReSkin(リスキン)」プロジェクトの起源は2009年にさかのぼる。TechCrunchでは、2014年に「GelSight(ゲルサイト)」と呼ばれるMITのプロジェクトについて紹介し、2020年にも再び記事にした。この会社はスピンアウトし、現在は我々が記事で紹介したこの触覚アプローチにおける製造パートナーとなっている。基本的にその仕組みは、柔らかいゲル表面に磁性粒子を浮遊させ、その下にある磁力計で粒子の変位を感知し、その動きを引き起こしている圧力の正確なフォースマップにこれを変換するというものだ。

GelSightタイプのシステムの利点は、磁力計が組み込まれたチップやロジックボードなどのハードな部分と、磁気粒子を埋め込んだ柔軟なパッドであるソフトな部分が、完全に分離されていることである。つまり、表面は汚れたり傷ついたりしても簡単に交換でき、繊細な部分はその下に安全に隠しておくことができるというわけだ。

ReSkinの場合は、任意の形状にチップを多数接続し、その上に磁性エラストマーの板を敷き、各々の信号を統合することで、全体から触覚情報を得ることができるというものだ。較正が必要なので、それほど単純というわけではないが、数平方インチというスケールを超えて動作を可能にする他の人工皮膚システムに比べれば、はるかに単純とも言える。

下の画像のように、小さな犬用の靴に組み込むこともできる。

足に圧力を感知するパッドを付けた犬と、そこら読み取った数値のアニメーション画像(画像クレジット:Facebook)

このような感圧面を備えていれば、ロボットなどの機器は、物体や障害物の存在をより簡単に感知することができる。その際、例えば、その方向に力を加える関節の摩擦の増加に頼る必要はない。これによって介護ロボットは、より優しく敏感に触覚を検知できるようになる可能性がある。介護ロボットが普及していない理由の1つは、触覚を検知できないため、人やモノを押しつぶすことが絶対にないと信頼できないからだ。

この分野におけるFacebookの仕事は、新しいアイデアではなく、効果的なアプローチをより使いやすく、手頃な価格で提供することである。ソフトウェアのフレームワークは公開されており、デバイスもかなり安価に購入できるものばかりなので、他の研究者もこの分野に参入しやすくなるだろう。

画像クレジット:Facebook

原文へ

(文:Devin Coldewey、翻訳:Hirokazu Kusakabe)