人間の網膜を模倣し目の錯覚も再現した人工視覚イオニクス素子をNIMSが開発

人間の網膜を模倣し目の錯覚も再現する人工視覚イオニクス素子をNIMSが開発

国立研究開発法人物質・材料研究機構(NIMS)は、10月11日、固体中のイオンの移動とイオン間の相互作用を利用して動作する人工視覚イオニクス素子の開発を発表した。人間の網膜の神経細胞を模したもので、明暗、色、形の境界線を強調して感じることができる機能(側抑制)を、ハードウェアのアナログ信号処理だけで再現することに成功した。

近年、人間の知覚原理を応用したセンサーのやアナログ情報処理システムの研究が進められているが、これまではソフトウェアで高度な処理を行うものが多く、専用の処理モジュールや複雑な回路が必要となり、システムのサイズも消費電力も大きくなる傾向にある。

人間の目は、網膜で捉えた光の信号を脳内に伝え、さまざまな処理が行われることによって物を見ることができる。網膜には、外から入ってきた視覚情報の中の光のコントラスト、色、動きなどを、神経細胞間の高度な相互作用により認識、識別する細胞が埋め込まれている。NIMSは、この相互作用をハードウェアだけで再現できれば、ソフトウェア処理に伴う大規模なプログラミングや回路を必要とせず、小型で省電力な人工知覚システムができると考えた。そうして人工視覚イオニクス素子が生まれた。

この研究では、人工視覚イオニクス素子が明暗のコントラストによる輪郭の抽出、つまり「明暗の錯視」を模倣できることを実証したが、人の目には、傾き、大きさ、色、動きなどによる錯視もある。この素子には、これらの錯視も模倣できる可能性があり、NIMSでは、集積化や受光回路などと統合することにより、さらに人間の網膜に近い機能を持った資格センシングシステムの開発を目指すという。

人間の網膜を模倣し目の錯覚も再現する人工視覚イオニクス素子をNIMSが開発

人間の網膜を模倣し目の錯覚も再現する人工視覚イオニクス素子をNIMSが開発

屋内専⽤の産業⼩型ドローンIBISを手がけるLiberawareが4.2億円調達、自律飛行・AI強化で点検・計測・分析推進

屋内専⽤の産業⼩型ドローンIBISを開発するLiberawareが4.2億円調達、自律飛行・AI強化で点検・計測・分析推進

屋内空間専⽤の産業⼩型ドローンIBIS(アイビス)を開発するLiberaware(リベラウェア)は9月1日、第三者割当増資による約4億2000万円を発表した。引受先は、リード投資家のBonds Investment Group、また凸版印刷、オリックス、セントラル警備保障、みやこキャピタル、Drone Fund。これによりシリーズCラウンドの資⾦調達を完了し、累計調達額は9億7000万円となった。

調達した資金により、ドローン技術や画像処理技術にみがきをかけ、IBISの増産およびアップデート、自律飛行型ドローンの実用化、AIの開発、海外展開の足がかり構築を実施する。

2016年8月設立のLiberawareは、「正しく作る、自由に動かす、社会を変える」をモットーに、自由な発想でモノづくりに取り組むエンジニア集団。Liberawareという社名は、ラテン語で「自由な」を意味する「libera」と、「気がつく」を意味する「aware」、そしてhardwareやsoftwareの「ware」を組み合わせたものという。

同社のIBISは、製鉄業や電力業、建設業などにおける設備の点検、構造物のデータ化において活用が進んでいるという。また、建設現場の施工進捗管理、⼯場内の定期チェックや倉庫内の在庫管理、屋内施設巡回警備など、自律飛行型ドローンの引合いも増えているそうだ。2021年7月にはJR東日本グループと合弁会社「CalTa株式会社」を設立し、鉄道・インフラ業界のDXを促進するための事業展開も図っている。

デジタル画像の父ラッセル・キルシュが91歳で逝去

1950年代からデジタル画像の研究を始め、現代のデジタル画像分野全般の基礎を築いたRussell Kirsch(ラッセル・キルシュ)氏が91歳で亡くなった。キルシュ氏の功績には、いかなる誇張も及ばない。その研究は、世界初のデジタル画像スキャンを実現させ、私たちがピクセルとして親しんでいるものを生み出した。

1929年、ロシアとハンガリーの移民の両親から生まれたキルシュ氏は、ニューヨーク大学、ハーバード大学、MITで学び、やがて米国規格基準局(後の米国立標準技術研究所、NIST)に就職し、引退するまで同研究所に勤務した。

50年間にわたり、さらに引退後も継続して研究、コード作成、理論構築を続けてきたが、もっとも有名な功績は、なんと言っても世界初のスキャンニングによるデジタル画像だろう。最初のデジタルカメラが登場する数十年も前のことだ。

その研究は、コンピューター(もちろん当時は部屋を満たすほどの大きさだった)はいずれ人の心や知覚をシミュレートするようになるという観点から出発している。私たちはいまだにその課題に取り組んでいるわけだが、キルシュ氏が1957年に達成した視覚のシミュレーションは、大きな一歩となった。

SEACスキャナーと後ろにコントロール・コンソール。キルシュ氏の同僚R.B.トーマス氏がスキャナーを使っているところ(画像クレジット:NIST)

キルシュ氏の研究グループが使用したのは、「小さな画像を固定した回転ドラムと、その反射光を感知する光電子倍増管」だ。彼らはグリッドを使った画像サンプリングに代えて、周期的に穴を開けた、ピクセルを構成するマスクをあてることにした。もっともピクセルという名称が用いられるようになるのは、まだ数年先のことだが。

装置から見える画像の各部分の反射率を測定し、その結果を米国初のプログラム内蔵型電子コンピューターSEACが管理するデジタルレジスターに保存することで、システムは、実質的に外の世界が見えるようになった。設定を変えて繰り返した数回分のスキャン結果を組み合わせれば、グレースケール画像の保存と表示が可能になった。

その画像がキルシュ氏の当時3カ月になる息子Walden(ウォールデン)の写真だったというのは、感動的な話だ。オリジナルの解像度は縦横179ピクセル。60年以上も前のものにしては、決して悪くない。下の画像は少し見栄えを良くしたバージョンだ。当時どう見えていたかがわかるよう、高解像度画像にしてある。

画像クレジット:NIST

この基礎研究は、デジタル画像の手法、アルゴリズム、保存技術の確立に直接貢献し、その後数十年間のコンピューター科学に影響を与えた。キルシュ氏は、引退の直前まで初期のAI研究を行っていたが、引退後も続けて、低解像度でも鮮明に見える適応型ピクセルという概念の研究に取り組んでいた。この考え方にはそれなりの長所はあるものの、今はもう当時と違い、メモリーや通信速度のボトルネックはさほど問題ではなくなってしまった。

キルシュ氏と、今も子供たちとともに健在な妻は、生涯を通して旅行家であり、登山家であり、アーティストでもあった。そうした豊かな人生が彼の重要な研究に貢献し、逆にその研究が彼の人生を豊かにしていたことは疑いようがない。

ラッセル氏の追悼記事と弔問記帳はこちら

画像クレジット:Russell Kirsch / NIST
[原文へ]

(翻訳:金井哲夫)

米国議会図書館が機械学習で300年ぶんの新聞の画像を抽出し検索可能に

昔の事件や人々に関する記録に関心のある歴史家たちは、かつては古い新聞の目録カードをかき分けていたが、次にマイクロフィルムをスキャンするようになり、やがてデジタルリストを検索するようになった。だが現代の技術は、個々の単語や写真に至るまで索引化を可能にした。米国議会図書館では、最新鋭の機械学習を使って1何世紀も前からの新聞記事の写真やイラストをデジタル化し分類する取り組みを進めている。

同図書館の「招聘イノベーター」の座を獲得したワシントン大学研究員であるBen Lee(ベン・リー)氏が主導するプロジェクトNewspaper Navigator(ニューズペーパー・ナビゲーター)では、アメリカの歴史に残る1600万ページぶんを超える新聞の画像を収集しデータを抽出している。

リー氏とその仲間は、昔の新聞や印刷物のデジタル化で先行しているChronicling America(クロニクリング・アメリカ)の仕事に刺激を受けた。Chronicling Americaは新聞のあらゆる内容を光学文字認識(OCR)でスキャンしているが、これはクラウドソース・プロジェクトでもあるため、さらなる分析のための画像の特定や切り出しは人の手が必要だ。ボランティアの作業員は、第一次世界大戦に関係する画像を枠で囲んで説明文を書き写し、画像を分類している。

この限定的な取り組みを見て、リー氏のチームは考えた。「印刷物の画像の特性を生かすものとして、私はそれが大好きでした。そのプロジェクトから生まれた内容の視覚的多様性を見て、純粋に素晴らしいと感じ、米国中の新聞記事を対象にこのような内容を記録できたらどうだろうかと考えたのです」とリー氏はTechCrunchに語った。

彼はまた、ボランティアが作り出したものが、実は機械学習システムのトレーニング用データとして最適であることに気がついた。「これを使ってオブジェクト検出モデルを構築し、あらゆる新聞紙面を読み込ませれば、宝の箱を開けることはできないかと私は自問しました」。

うれしいことに、答えはイエスだった。最初の人力による画像と説明文の切り出し作業を利用し,彼らは、それを自力で行えるAIエージェントを構築した。普通に微調整や最適化のあと、彼らはChronicling Americaがスキャンした新聞記事の完全なデータベースの中にそれを解き放った。

上段左から、画像をダウンロードしてMETS/ALTOでOCR、視覚コンテンツ認識を実行、視覚コンテンツの切り出しと保存、画像埋め込みの生成。下段左から、OCR、予測された境界ボックスからOCRを抽出、抽出されたメタデータをJSON形式で保存

「19日間ノンストップで稼働しました。私が経験した中で最大のジョブです」とリー氏。しかし、結果は驚くべきものだった。3世紀(1789年から1963年)にわたる無数の画像が、それらに本来付属していた説明文から抽出されたメタデータとともに分類されたのだ。この処理が解説されている研究論文は、ここで読める。

説明文が正しいと仮定すると、これらの画像(つい最近までアーカイブを日付ごとに追いかけ、文章をひとつひとつ読んで、片っ端から調べなければ見ることができなかったもの)は、他の言語資料と同じように内容で検索できるようになる。

1870年の米国大統領の写真を探したいなら、もう狙いをつけて何十ページもの新聞を読みあさり写真の説明文の内容を何度も確かめる必要はなく、Newspaper Navigatorで「president 1870」と検索すれば済む。または、第二次世界大戦時代の風刺漫画を見たいなら、日付の範囲を指定するだけで、すべてのイラストが入手できる(彼らはすでに写真を年別のパッケージにまとめていて、その他のコレクションもそうする予定だ)。

下にいくつかの新聞紙面の例を示す。機械学習システムが切り出した枠が重ねられている(注意:帽子の広告が山ほどあり、差別的な内容も含まれる)。

  1. newsnav-examples-4

  2. newsnav-examples-3

  3. newsnav-examples-2

  4. newsnav-examples-1

  5. newsnav-examples-5

少しの間、気楽に眺めるのも楽しいが、重要なのは、これが研究者たち(そしてその他の資料一式)に何をもたらすかだ。研究チームは本日、このデータセットとツールの公開を記念して、データの利用法のアイデアを競うイベントを開催する予定だ。新しい使い道の発見と実用化の方法が得られればと彼らは期待している。

「このデータセットの創造的な利用法をみんなで考える、素晴らしい催しになればと考えています」とリー氏。「機械学習という観点から私が心底ときめいたのは、人々が独自のデータセットを作れるユーザーインターフェイスを構築するというアイデアです。風刺漫画やファッション広告など、自分の興味に応じてユーザー自身が定義し、それに基づいて分類器のトレーニングができるインターフェイスです」。

南北戦争時代の地図を要求したことを想定した検出例。

視点を変えれば、Newspaper NavigatorのAIエージェントは、その他のコレクションのスキャンやデジタル化に使える、より具体的な内容のエージェントの親になることができる。これは実際、米国議会図書館で計画されていることだ。デジタルコレクションの担当チームはNewspaper Navigatorがもたらした可能性と機械学習全般を、おおいに歓迎している。

「私たちが興味を抱いていることのひとつに、私たちが使える検索や発見の手段をコンピューターが拡大してくれる可能性があります」と米国議会図書館デジタル戦略ディレクターのKate Zwaard(ケイト・ツワード)氏は語る。OCRのおかげで、それなしに探せば何週間も何カ月もかかったであろうものが見つけられるようになりました。図書館の蔵書には、美しい図版やイラストが掲載されたものが数多くあります。しかし、たとえば聖母子像にはどんなものがあったかを知りたいとき、一部は分類されていますが、その他のものは本の中にあって分類されていません」。

その問題は、画像と説明文を結びつけるAIが体系的に本を熟読することで、早々に解決できる。

Newspaper Navigatorを構成するコード、画像、そしてそれが生み出した結果のすべては、完全なパブリックドメインとして、目的にかかわらず無料で利用でき、改変もできる。コードは同プロジェクトのGitHubで入手可能だ。

画像クレジット:Library of Congress

[原文へ]

ドローンとマルチスペクトル画像で森林の健康状態を観測するUCバークレーのテストプロジェクト

pix4d-projects-agriculture-sequoia-3d-ndvi-01

干ばつ、気候変動、森林破壊により世界中の森林がリスクにさらされている。これまで以上に森林のエコシステムについて研究することが重要だ。しかし、シエラネバダ山脈のエコシステムを研究するのに、すべての木に登って調査するのは骨が折れる。ドローンと先進の画像技術を使うことは、木を登るよりはるかに実用的な方法であるとカリフォルニア大学バークレー校のプロジェクトは示している。

カリフォルニア大学バークレー校の生態学者Todd Dawsonは木に登って枝を測ったり、成長具合を確かめるのに多くの時間を費やしている。読者が想像するように、これは時間がかかり、危険で大変な仕事だ。そのため、ドローンメーカーのParrotと画像テテクノロジー企業Pix4Dのコラボレーションは魅力的に映った。

「これまで5人から7人のチームが1週間かそれ以上の時間をかけ、1本の木に登ってその木のデータを集めます。ドローンを使えば、2分の飛行で同じことができます。木の周りを飛ばすことで、葉の位置を把握します。キャノピーの中で画像処理を少し行えば、木の全体像を1日で把握することができます」と Dawsonはバークレーのニュースリリースで説明している。

  1. 1-_uxjdgml-tejo4a1shxcda.jpg

  2. drone_tree_imagery.jpg

  3. fpv-sequoia750.jpg

  4. sequoia.jpg

ドローンは、もちろん林業や農業で広く使われているが、ここで用いている設定は素早く、反復的に個別の木の特徴を捉えるために特化しているという。Pix4Dの「Sequoia」カメラは、複数の波長帯を観測するマルチスペクトル画像処理という賢い技術を活用している。また、それと同時にLIDARを使用し、木の詳細な3Dポイントクラウドを生成する。これらの方法で得たデータを見ることで、木の健康状態や成長具合が分かるという。週次や月次でデータを集めることで、木の変化の経過を見ることも可能だ。

データの処理や保存も大きな問題ではなくなってきている。Pix4Dが開発したソフトウェアはデータを素早く処理し、この特定の用途のためにすぐに活用できるという。集めたデータは他の予測モデルを構築するのに用いていることも可能だ。例えば、葉の分布から炭素交換を予測したり、あるいは気候学や人類学の研究のために木の成長や健康状態のデータを使用したりすることができる。

Dawsonの研究はパイロットプロジェクトだ。ParrotとPix4Dはこの他に、気候変動軽減のためのイノベーションを援助する「Climate innovation grant」をローンチし、研究者が彼らのドローンや画像技術ハードウェアを利用できるようにする。研究テーマは「気候変動の影響を軽減するための理解とイノベーションを促進する」ものであるなら、「考古学から動物学」まで幅広く対応するという。

[原文へ]

(翻訳:Nozomi Okuma /Website