タグ: コンピュータビジョン

翻訳は難しい作業だ。2つの言語の距離が遠くなるほどそれは難しくなる。フランス語からスペイン語？それほど問題はない。古代ギリシャ語からエスペラント？かなり難しいだろう。しかし、手話は独特だ。そしてその翻訳の難しさも独特である。なぜならそれは話されたり書かれたりしている言語とは、根本的に異なるものだからだ。こうした事情から、SignAllは、アメリカ手話（American Sign Language：ASL）の正確でリアルタイムな機械翻訳を実現するために、何年も努力を重ねてきた。

AIとコンピュータビジョンに現在起きている進歩を考えれば、このような解くのが面白くて有益な問題は、既に一流中の一流どころが一斉に取り組んでいることだろうと想像するかもしれない。シニカルな市場拡大の観点から考えても、手話を理解できるEchoやテレビは何百万人もの新しい（そして感謝を捧げてくれる）顧客を引きつけることだろう。

しかし残念ながら、そうしたことは起こっていないようだ。それがこのブタペストを拠点とする小さな企業であるSignAllのような会社に、不自由な人びとへの利便性を提供するこの難しい仕事が残された理由だ。そして、手話をリアルタイムで翻訳することは、思われていたよりも複雑な作業であることが判明したのである。

CEOのZsolt Robotkaと最高研究開発責任者のMártonKajtárが、今年のCESに出展を行っていた。私はその場で、会社のこと、彼らが挑戦している課題、そしてこの分野がどのように発展していくのかについての話を聞いた（私は彼らが2016年のDisrupt SFにも出展していたことを知って嬉しくなった。残念ながらその時は彼らに会うことはなかったのだが）。

おそらく、このビジネスの中で私にとってもっとも興味深いことは、彼らが解決しようとしている問題がどれほど興味深く、そして複雑なものであるかということだ。

「これはマルチチャネルコミュニケーションなのです。実際に、大切なのは形や手の動きだけではないのです」とRobotkaは説明する。「手話を本当に翻訳したいのならば、上半身の動きと顔の表情をすべて追跡する必要があります。このことはコンピュータービジョンの部分を非常に難しいものにします」。

ちょっと考えただけでも、それは大変な作業である、わずかな動きも追跡することを考えるとそれは膨大な量となるだろう。現在のシステムはKinect 2を中心に置いて、3台のRGBカメラを1〜2フィートの位置に設置している。誰の話し方も少しずつ違っているように、ASLユーザーも少しずつ違った動作を行う。このためシステムは新しいユーザー毎に再調整をする必要がある。

「この複雑な構成設定が必要なのは、こうすることで異なる視点を持つことができ、そのおかげで時間と空間（リフレッシュレートとピクセル数）に対する、解像度の不足を補うことができるからです」とKajtárは語る。「ASLでは非常に複雑な指の動きを行うことができますが、手を骨格として捉える従来の手法は役に立ちません。何故なら指同士が重なるからです。そこで、サイドカメラを使用してこの重なりを解決しています」。

それでは十分でないと言うかのように、顔の表情やジェスチャのわずかな変化も、伝えられていることに加わる。例えば感情の追加や方向の指示などだ。そしてさらに、手話は、英語や他の一般的な話し言葉とは根本的に違っているという事実がある。これは単なる置き換えではなく、完全に翻訳なのだ。

「手話の本質は、連続した身振り（サイン）です。この性質から、いつ1つのサインが終わり、そしていつ次のサインが始まったかを区別することが難しいのです」とRobotkaは語る。「そして、それはまた非常に異質の言語でもあるのです。語彙から拾い上げて、単語単位で翻訳をすることはできません」。

SignAllのシステムは、順番に提示される個々の単語だけではなく、完全な文章を対象に動作を行う。サインを１つずつキャプチャして、翻訳していくシステム（性能が限定的なバージョンは存在している）は、言われていることに対して、間違った解釈や、過度に単純化された表現を生み出しやすい。行く方向を尋ねるような単純なコミュニケーションに対しては十分かもしれないが、本当に意味のあるコミュニケーションは、検知され正確に再現されなければならない、何層にも重なった複雑な階層で構成されているのだ。

これらの2つのコミュニケーションレベルの間のどこかを目指して、SignAllはギャローデット大学で、最初の公開パイロットプロジェクトを行おうとしている。このワシントンDCにある聴覚障害者のための学校は、ビジターセンターのリノベーションを行っている最中だが、SignAllはここに、訪問した健聴者が聴覚障害スタッフと対話できるようにできる翻訳ブースを設置する。

Robotkaは、これはシステムのテストを行うための良い機会だと語る。通常は情報提供は逆方向で、聴覚障害者の方が健聴者から情報を貰う立場だからだ。手話ができない訪問者は、喋ることもできて、（もしスタッフが読唇術を使えない場合には）その質問はテキストに変換される。そしてスタッフによる手話による応答はテキストに変換され、音声合成が行われる。

これは複雑なやり方に聞こえるし、実際技術的はとても複雑だが、現実的にはどちらの側の人間も普通にやっていること以上のことを行う必要はない。それで相手には理解して貰えるのだ。少し考えてみれば、これがどれほど素晴らしいことかが分かるだろう。

パイロットテストの準備のために、SignAllとギャローデット大学は協力して、現在使われているアプリや、大学固有の状況に関するサインのデータベースを作成している。全ての手話サインを表す包括的な3D表現は存在しない、そのため当面システムは配備された環境に応じて提供される。ドメイン特有のジェスチャーが順次データベースに追加されていくことになる。

「これらの3Dデータを収集するのは本当に大変でした。彼らの協力を得て、丁度作業が終わったところです」とRobotkaは語る。「インタビューを行い、そこで発生した会話を集めて、すべての言語要素とサインが集められるようにしました。私たちは、最初の2、3のパイロットプロジェクトで、同じようなカスタマイズ作業を繰り返すことになると考えています」。

この長期間にわたるプロジェクトは、技術の可能性と限界の両方を冷静に思い出させるものだ。もちろん、手話の自動翻訳が、コンピュータビジョン、機械学習、イメージングの進化によって可能になったことは間違いない。しかし、他の多くの翻訳やコンピュータービジョンタスクとは異なり、基本的な正確性を達成するだけでなく、人間中心主義の側面が確実に含まれるようにするために、大量の人間からの入力が必要とされるのだ。

結局のところ、こうした活動は単に私たちが外国のニュース記事を読んだり、海外でコミュニケーションを行う際の利便性に留まる話ではなく、多くの人が対面コミュニケーションとして考えている「会話」という手段から締め出されている人たちの、利便性に関わる話なのだ。彼らの運命を良くして行くことは、待つだけの価値がある。

[原文へ]
（翻訳：sako）

部屋の向こうから誰かがあなたにボールを投げて、あなたがそれをキャッチする。実にシンプルだ。実のところ、これは私たちが理解しようとしてきたプロセスの中でも最も複雑なものの1つだ – ましてや再現は困難だ。私たちが見るように見ることができるマシンを発明することは、見かけ以上に困難な仕事だ、コンピューターにそれをやらせることが難しいというだけでなく、そもそも私たち自身がそれをどのようにやっているのかがはっきりしないからだ。

実際に起こっているのはおおよそこのなようなことだ：ボールのイメージがあなたの目を通過して網膜に映る、そこである程度の基礎的な解析を行い、その結果を脳に送る、そして視覚野がイメージをより徹底的に解析する。そして、その後解析結果は皮質の残りの部分へと送り出される、そこでは既に知っている全てのものと結果が比較され、物体と寸法を分類し、最終的に何を行うかを決定する：腕を上げてボールを掴む（その軌跡を予測しながら）。このプロセスはほんの一瞬で行われて、意識的な努力はほぼ不要だ、そして多くの場合決して失敗しない。だから、人間の視覚を再現することは、単に1つの困難な問題ではないのだ、それは複数の困難な問題の集まりで、お互いが他に依存している。

まあ、これが簡単だろうと言った人はいない。おそらく、AIのパイオニアである、マービン・ミンスキーを除いては。彼は1966年に1人の大学院生にこのような有名な課題を与えた「カメラをコンピューターに接続して、それが見ているものを記述させなさい」。学生に同情を禁じ得ない：50年後、私たちはまだその課題に取り組んでいるのだ。

本格的な研究は、50年代に始まり、3つの異なるラインに沿って進んだ：目を複製する（難しい）。視覚野の複製（非常に難しい）：そして脳の残りの部分の複製（ほぼ間違いなくこれまで試みられたものの中で最も困難）。

見ること

目の再発明は、私たちが最も成功を収めてきた領域だ。過去数十年にわたって、私たちは人間の目の能力に匹敵し、ある部分ではその能力を凌ぐほどの、センサーや画像処理装置を作成してきた。より大きく、より光学的に完璧なレンズと、ナノメートルスケールで製造された半導体サブピクセルのおかげで、現代のカメラの精度と感度は信じられないという他はない。カメラはまた、毎秒数千ものイメージを記録し、高い精度で距離を検出することができる。

しかし、出力の忠実度は高いにもかかわらず、これらのデバイスは多くの点で、19世紀のピンホールカメラより優れているとは言えない：それらは単に与えられた方向から来る光子の分布を記録しているだけなのだ。これまでに作られた最も優れたカメラセンサーでもボールを認識することはできない — もちろんそれをキャッチするなんて事もできそうもない。

別の言葉で言えば、ハードウェアはソフトウェアが存在しないと極めて機能が限られてしまう — それが解くべき、より重要な問題なのだということが分かったのだ。とはいえ、現代のカメラ技術は、撮影のためにリッチで柔軟なプラットフォームを提供している。

記述すること

ここは、視覚神経解解剖学についての完全なコースを提供する場所ではないが、私たちの脳は、言ってみれば、視覚を意識して、ゼロから構築されているのだと言えば十分だろう。脳の大部分は他のどのようなタスクよりも視覚に割り当てられている、そしてその専門化は細胞に至るまで全部が関連している。数十億のそれらの細胞が一緒に働き、網膜から送られたノイズだらけで無秩序な信号からパターンを抽出する。

もし特定の線上に特定の角度でコントラストがあったり、例えば、ある方向へ急な動きがあった場合に、神経細胞の集合がお互いを刺激する。より高いレベルのネットワークが、これらのパターンをメタパターンへと集約する：上方に移動している円、のように。そこへ別のネットワークが話に加わる：円は白く、線は赤い。また別のネットワーク：そのサイズは成長している。1つの画像が、これらの粗く補完的な記述から現れ始める。

これらのネットワークを、計り知れない複雑なものと考えた初期のコンピュータービジョンの研究は、違うやり方を採用した：「トップダウン」アプローチだ — 本は/この/ように見えるので、/この/ようなパターンを探せ。もし横置きされていないなら、/この/ように見えるだろう。車は/この/ように見えて、/この/ のように移動する。

制御された状況下で少数のオブジェクトを扱うなら、このやり方は上手く行った、しかし身の回りの全てオブジェクトを記述しようとすることを想像して欲しい。あらゆる方向から様々な光と動きがやってきて、数百ものその他の要素があるのだ。幼児レベルの認識を達成することでさえ、非現実的に巨大なデータセットを必要とすることが明らかになった。

脳内で発見されたものを模倣する「ボトムアップ」アプローチは、より有望だ。コンピュータはイメージ対して連続した変換を適用し、予測されるオブジェクト、複数の画像が示されたときの遠近や動きなどを発見することができる。このプロセスは、大量の数学と統計計算を伴うが、要するにコンピューターは見たものを、既に認識するように学習していたものとマッチングさせようとしているだけのことだ — 私たちの脳がそうであるように、他の画像で学習したものを使うのだ。

上のようなイメージ（パデュー大学のE-labより）が示しているものは、コンピューターが計算によって、注目したオブジェクトが他の例の中の同じオブジェクトのように見え、似た動きをすることに、ある統計的確信度のレベルまで達したことを表示している。

ボトムアップアーキテクチャの支持者たちは「だからそう言ったじゃないか」と言うだろう。しかし、つい最近まで、人工ニューラルネットワークの構築と運用は非現実的だった、なぜなら必要な計算量が膨大だったからだ。並列コンピューティングの進歩は、これらの障壁を打ち破りつつあり、ここ2、3年は私たちの脳の中を模倣する（もちろんまだ概略レベルだが）システムの、構築と利用の研究が爆発的に増えている。パターン認識のプロセスは桁違いに高速化されていて、私たちは日々進歩を重ねている。

理解すること

もちろん、あなたはあらゆる種類のリンゴを認識するシステムを作ることができる、すべての角度から、どのような状況でも、止まっていても、動いていても、少々齧られていても、どのような場合でも — そして、そのシステムはオレンジを認識することはできない。さらに言えば、そのシステムは、リンゴとは何か、それは食べられるものなのか、どれほど大きなものなのか、あるいは何に使われるものなのかに答えることさえできないのだ。

問題は、良いハードウェアとソフトウェアがあっても、オペレーティングシステムがなければあまり役に立たないということだ。

私たちにとっては、それが私たちの心の残りの部分なのだ：短期並びに長期記憶、私たちの他の器官からの入力、注意と認知、本当に膨大な世界とのインタラクションを通じて学んだ、これまた膨大なレッスン、私たちがかろうじて理解した手法で書かれた、これまで私たちが出会ったどのようなものよりも複雑な相互接続されたニューロンのネットワーク。

ここが、コンピュータ科学とより一般的な人工知能のフロンティアが集まる場所だ — そして私たちが大いに空回りをしている場所なのだ。コンピュータ科学者、技術者、心理学者、神経科学者そして哲学者の間で、私たちは、私たちの心がどのように働いているかに関しての、使える定義をほとんど持っていない。それをシミュレートすることは更に困難だ。

とはいえ行き止まりに来たという意味ではない。コンピュータビジョンの将来は、私たちが開発した、強力なしかし特定の役にしかたたないシステムを、捉えることが少し難しい概念（文脈、注意、意図）にフォーカスしたより大きなものと、統合するところにある。

とは言っても、たとえ初期の段階であるとしても、コンピュータビジョンは、非常に有益なものだ。それはカメラの中に入って、顔と笑顔を認識している。それは自動運転車の中に入って、交通標識を読み取り歩行者に気をつけている。そしてそれは工場のロボットの中に入り、問題を監視し、人間の作業者の周りでナビゲーションを行っている。それらが、わたしたちと同じように見ることができるようになるまでには、（もしそれが可能だとしても）なお長い年月が必要だが、現在手にできている仕事の規模を考えると、彼らが見ているということは素晴らしいことだ。

[ 原文へ ]
（翻訳：Sako）

上の画像に、群れからはぐれた一頭のジュゴンがいるのが分かるかな？　もっとよく見て…見えない？　この大きな画像はどうかな？　だめかな？　ほら、これだよ。こんなたいへんな発見作業を45000回やれば、それが、この絶滅危惧生物のほぼ全人口なんだ。人間が数えるのはたいへんなら、オーストラリアのマードック大学の研究者たちのように、そのために訓練されたコンピューターにやらせるとよいだろう。

同大クジラ目（もく）研究グループ（Cetacean Research Unit）のAmanda Hodgsonは、長年、無人機を使って海洋動物の画像を撮っているが、そのデータは急速かつ大量にたまりすぎるし、手伝ってくれる学生の数には限りがある。

Hodgsonはクイーンズランド工科大学大学のコンピューター科学者Frederic Maireの協力を求めて、作業を自動化することにした。

彼らは機械学習のシステムを、タグにジュゴンのある画像で教育訓練し、新しい写真でも約80%の精度でジュゴンを見つけられるようにした。精度はもっと高める必要があるが、とりあえず目安としては十分であり、精査すべき画像を選り分けることはできる。

たとえば、下の画像は精査が必要かもしれない。多くの生き物がいるようだし、またシステムは、影も数えてしまうかもしれない。

すこし改良したそのシステムは、クジラやイルカ、ボート、そのほかの、沿岸によくいる生物なども見分けるようになり、個体数の計算に寄与できるようになった。

機械学習とコンピュータービジョンは、こうやって、科学者や、そのほかの人たちも、助けることができるのだね。

[原文へ]
（翻訳：iwatani(a.k.a. hiwa））