iPhoneの赤外線奥行きセンサーで人間の感情を読み取るObservant

Observantは、iPhone X, XS, XRの、赤外線を利用する奥行き(z軸方向)センサーの、新しい使い方を見つけた: ユーザーの顔の表情を分析して、製品やコンテンツに対する反応を読むのだ。

ObservantはY Combinatorの本年冬季の‘生徒’だったが、3月のデモデーの時点でもステルスだった。作者は、バグを報告するBuglifeを作ったのと同じ企業で、CEO Dave Schukinによると、彼のチームがユーザーの反応を正しく知りたいためにObservantを作った。

本誌TechCrunchはWebカメラ視標追跡(eye tracking)を使う方法を過去にも取り上げてきたが、CTOのDaniel DeCovnickと共に同社を興したSchukinによると、それらの方法はObservantに比べて精度が低い。とくにそれらは、表情の細かいニュアンスを捉えることができず、また十分明るくないと使えない。

彼によると、赤外線を用いる奥行きセンサーは、照度が低いところでも顔を詳細に捉えることができる。またObservantは独自のディープラーニング技術により、顔のデータをリアルタイムで感情に翻訳できる。

Observantは、どんなiOSアプリからでも利用できるSDKと、そのバックエンドとしてのリアルタイムの感情分析ストリームと、アプリ内イベントに対応するユーザーの反応のスナップ・ショットを提供している。今は完全招待制だが、Schukinによると、すでに一部のリテールやeコマース、それにフォーカスグループテストでも利用されている。

Observant

自分のiPhoneがこっそり自分の表情を捉えている、と後で知ったら誰しも気分悪いので、Schukinは事前にユーザーに知らせることを強調する。“ユーザーはそれがどのように使われるか明確に知っている”のだそうだ。またすべての分析はユーザーのデバイス上で行われるので、顔の映像やバイオメトリクスデータなどがどこかへアップロードされることはない。

この技術には、もっといろんな用途がありうる、とSchukinは主張する。たとえば消費者へのリコメンデーションの質をアップしたり、チャットボットが“感情認識能力”を持ったり、居眠り運転を検出したり、などなどだ。

現在、特定のスマートフォンの特定の三機種でしか使えないことに関してSchukinは、赤外線による奥行きセンサーがあるのは、開発を始めた当時iPhone Xだけだった、と言う。そして、いずれはAppleのiPhoneとiPadの全機種に搭載されるだろうし、Androidにも載るだろう、と彼は考えている。

現時点でObservantの将来性を占うのは時期尚早だが、Schukinによると、わずか一機種だったのがすぐに三機種になったのだから、今後この技術が広まっていくことは確実だ、という。

画像クレジット: Observant

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

Google CloudのNatural Language APIにタグ付けによるコンテンツ分類と物や場所(語)レベルの感情分析機能が登場

Google Cloudが今朝(米国時間9/19)、そのNatural Language APIのアップデートを二つ発表した。具体的には、ユーザーがコンテンツの分類機能と対象物の感情分析機能にアクセスできるようになったことだ。この二つの機能は、ブランドやメディア企業でとくに重宝するだろう。

まず、GCPのユーザーはコンテンツにタグ付けできるようになる。タグは、健康、エンターテインメント、法律など、一般的な話題だ(cc: Henry)。今日のアップデートで、ドキュメントを700のカテゴリーに分類できるようになる。

Googleによると、この機能は主に、メディア企業や出版企業がターゲットだ。これらの企業は大量のコンテンツを作り出していて、その整理整頓はきわめて難しい。そこでコンテンツ分類機能が、これまでの分類カテゴリーと突き合わせながら、そのドキュメントのコンテンツに自動的にタグ付けする。検索はタグでできるから、読者の最近のトレンドをより深く分析でき、便利だ。

一方、感情分析の方は、場所や物に付随している感情を解析する。これまでの感情分析は、テキストのブロックを構成しているセンテンスが対象だった。しかし今回の粒度の小さい分析によって、ユーザーは特定の語の感情を同定できる。そこでたとえばブランドは、製品や物理的な場所に結びついている一般大衆の気持ちや意見などを知ることができる。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

Looxid Labsが脳波検査とVRを結びつけてコンテンツに対する反応、人間の感情分析を行う

仮想現実は消費者市場の厚い壁をぶち破ることができず、その需要の核心も未だに掴みかねている。しかし一方、コンテンツの制作の分野では、企画や開発の過程で人間の感情を把握し分析できることが、ヒット作を生むための重要な鍵とみなされている。

今日(米国時間9/18)のDisrupt SF Startup Battlefieldに登場したLooxid Labsは、そのためにVRと〔それらを経験中の人の〕脳波の利用を考えている。

感情を調べるためにVRを利用するスタートアップは、このところいくつか登場しているけど、でもたとえばVRでユニコーン企業になったMindMazeが開発しSamsungがデモした技術は、顔の筋肉の動きから感情を推察するし、また、唇の動きを読む類似技術もある。それらに対してLooxid Labsは、EEG(脳波検査)と目の動きの検出を組み合わせて感情的な反応を検出し、独自のアルゴリズムにより、視聴者の現在の感情を推察する。

EEGはいまだに、その応用技術や応用製品が明確でないデータソースだが、しかしLooxid Labsがねらっているのは消費者市場ではなく、VRへの反応を表している感情を調べる研究調査の分野だ。

同社のLooxidVRと呼ばれる製品は、脳波や目の動きなどの情報を集めて解釈するシステムだ。それが発揮する調査分析機能により、VRに関心を示している多くの企業が、ユーザーのリアクションを正しく判断できる。たとえば医療における疼痛管理や物理療法のユースケースでは、患者の今の気持や反応を知ることがとても役に立つ。また教育の分野では、学生生徒が教材のどの箇所で混乱しているか分かれば、落ちこぼれ防止に役に立つ。

しかもVRヘッドセットのリアルタイム統合により、どんな場面で、あるいは何を見ているときに、どんな感情が起きたか、という両者の結びつきを知ることができる。アルゴリズムが判定する感情の種類は、以下の三つの次元だ: (1)嬉しい/悲しい、(2)優越感/従順感、(3)興奮/消沈。

Looxidは消費者市場を無視しているわけではないが、近々の参入はない。今は、消費者市場のアーリーアダプターを対象とする開発キットを企画しているから、B2CではなくB2Bだ。感情追跡は、これまで多くのソーシャルVRアプリケーションが関心を示してきたが、その機能を統合したハードウェアはまだない。EEGヘッドセットがマスマーケットに合ったソリューションではないかもしれないけど、でもLooxidが統合したそれほど堅牢でないシステムは、デベロッパーキットのヘッドストラップを利用している。

Looxidにとっても、消費者市場に進出するためにはまだまだ課題が多い。新しいVR入力技術で十分な量のOEMを獲得し、デベロッパーのエコシステムを早期に築いていくには、相当な投資を覚悟しなければならない。でも今回のように消費者を無視して研究調査の方面に集中するやり方は、リスクも報酬も共に少ないが、Looxid Labsの強みを見せるには適している。

  1. tcdisrupt_sf17_looxid-2948.jpg

  2. tcdisrupt_sf17_looxid-2945.jpg

  3. tcdisrupt_sf17_looxid-2952.jpg

  4. tcdisrupt_sf17_looxid-2950.jpg

  5. tcdisrupt_sf17_looxid-2959.jpg

  6. tcdisrupt_sf17_looxid-2956.jpg

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

男女間の問題を生命徴候と声から早期に検出してその芽を摘むためのウェアラブルをサウスカロライナ大が研究中

男女間の問題を、実際に顕在化する前にその芽を摘むために、問題が発生しそうなことを告げている生命徴候を検出する、という研究をサウスカロライナ大学の複数の研究チームが共同で進めている。被験者のカップルは複数種類のセンサーを収めたウェアラブル(上図)を身につけ、そのデータを記録するスマートフォンを与えられる。

その研究はほとんど研究室の外で行われ、協力者のカップルはそれぞれ1時間のアンケートにつき合って、相手に対する気持ちを述べる。研究者が意図的に論争を導入したり、主観的な事項に触れたりはしない。中にはまったく問題が報告されないカップルもいるが、全体としては大量の問題が検知される。なにしろ、男女のカップルだからね。

研究報告を共同執筆しているTheodora Chaspariは述べる: “ウェアラブルから生体信号を捉えるのは、肉眼では見えない情報を捉えるためだ。それは実際に、相当有益な情報源だった”。

そのウェアラブルが捕捉するのは、体温と心拍と発汗だ。これらに、喋りの(音声の)内容と強度を検出するためのオーディオ信号を組み合わせる。チームが開発した機械学習は、抗争のタイプや内容を86%の確度で判定できる、という。

執筆主任のAdela C. Timmonsは語る: “うちの大学では、心理学の家族研究と、工学部のSAILプロジェクトが長年コラボレーションしている。両者が協力して、われわれが収集した大量のデータを処理分析し、それらに機械学習の技術を適用して、カップル間に対立や抗争が生じつつあるかを、高い確度で判定する”。

研究の次のステップは、その機械学習のアルゴリズムを利用して、抗争の発生をその5分前までに予見できるためのモデルを作ることだ。そのモデルには、心理学的なデータと音声の判定を学習させる。今、商品としてのウェアラブルはかなり高度化しているから、商用製品に体のフィットネスだけでなく心の健康をチェックする機能が導入されたって、おかしくはない、と思ってしまった。

“でもこれは、とっても難しい仕事よ”、とChaspariは語る。“抗争や対立の原因や徴候は、心理学的にも行動科学的にも、微妙に徐々徐々に積み重なって大きくなっていくものだから”。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

BaiduとKFCのスマートレストランは、客の顔を見ただけで最適メニューをおすすめする

screen-shot-2016-12-23-at-8-51-14-am

Baiduがその最新技術を、奇抜なやり方で披露している。その一つがKFC China(そう、あのフライドチキンのKFCだ)とのパートナーシップで、“中国のGoogle”と呼ばれることもあるこの巨大検索企業は、北京に開店したKFCの“スマートレストラン”にその技術を提供した。どういう技術かというと、顧客の顔を認識して、その年齢や性別、表情などから、おすすめメニューを提案するのだ。

そのレストランにはテーブルの上のステッカーによる拡張現実(AR)ゲームもあるが、こちらは北京の300店すべてにある。顔認識は、当面このお店だけだ。Baiduは同じくKFCとのパートナーシップにより、上海に別のタイプのスマートレストランのパイロット店を開いたことがある。こちらは、自然言語で対話できるロボットが、お客様の注文を承(うけたまわ)る、というものだ。

どちらの技術にも共通しているのは、お客が何かを言う前からロボットがおすすめメニューを推察することだ。画像認識機能を持つハードウェアが顧客の顔をスキャンして、感情や気分を推察し、性別などそのほかの情報も推量して、おすすめメニューを提案する。Baiduのプレスリリースは、たとえば“20代前半の男性”には、ランチに“クリスピーチキンハンバーガーとローストチキンウィングとコーク”をおすすめし、50代の女性の朝食には、“中華粥と豆乳”をおすすめする、と言っている。

顧客はシステムのおすすめを気に入らないかもしれないが、でもそれはあくまでも、ご提案だ。システムには記憶機能があるので、リピート顧客にはこれまでのお気に入りを提案する。ファストフード店に認識目的のために自分の顔の画像があり、過去の注文履歴のデータもある、と考えると、あまり気分は良くないだろうが、でもアメリカのケンタッキー店に比べるとKFC Chinaは、レストランとしてずっとましだ。

これは一つのレストランと一つのテクノロジー企業がアイデアをいじくっているにすぎないが、もっと一般化してほしいと思う人も少なくないだろう。そう、ファストフード店へ行くたびに、毎回いちいちメニューを告げるのは、かったるい場合があるからね。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))

チャットボットやカスタマサポートエージェントに感情理解能力を持たせるEmotibot、中国語対応の一般アプリとしてPR中

情動知能(emotional intelligence, 感情を理解する能力)は、人間自身においてすら難しい。ロボットとなると、なおさらだ。チャットボットには、さらに難しいだろう。拾い上げることのできる感情の指標が、ごく限られているからだ。

中国のEmotibotは、パーソナルアシスタントやチャットボットや、カスタマサポートの仮想係員などが、対応する人間の気持ちを正しく理解できるようにする。カスタマサービスのどんな対話でも、係の人が相手の気持ちを尊重してくれたら、すごく良質なサービスだ、という印象を与え、その噂が広まる。

今のボットは、感情に関してはかなり未発達だ。冗談を言えたり、あらかじめプログラミングされている寸言を言えることもあるが、相手が今、冗談を聞く気分でないことや、もっと思いやりのある対応を求めていることを、理解できるボットはほとんどない。

Emotibotはそんな顧客が求めるもの、すなわち気配りのあるチャットボットを提供する。そんな社交性を持つためにEmotibotは、入力のテキストやオーディオ、それにカメラからの映像をフルに利用する。

今のところEmotibotは、WeChatとAndroidで使える一般向けのアプリを提供している。それはいわば、そのチャットボットにできることのデモだ。しかし同社の本来のビジネスは、個々の企業向け製品向けに個別のソリューションを作り、感情を理解するチャットボットやカスタマサポートを実現することだ。その対象はメッセージングアプリや、スマートスピーカー、ネット接続車など、何でもよい。

Emotibotは、中国における感情の正しい検出率が95.63%だ、と言っている。それは、これまでで最高だ。感情検出というシステムは当然ながらローカライゼーションが必須だが、同社はすでの、その人材を揃えている、という。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))