LeapMind、エッジデバイス上でのリアルタイム動作と高画質を両立させた高精細AI画像処理モデル発表

LeapMind、エッジデバイス上でのリアルタイム動作と高画質を両立させた高精細AI画像処理モデル発表

ハードウェアとソフトウェアの両面で機械学習技術の開発を行うLeapMind(リープマインド)は1月31日、エッジデバイス上でリアルタイムで動作し、ノイズ除去によりスマートフォンレベルの高画質を実現したAI画像処理モデルを発表した。これまでエッジデバイスで挙げられてきた性能面と画質面の課題を同時に解決し、高性能・高画質・軽量化を実現するものとなった。

エッジデバイスでは、計算コストの高いAIによる画像処理は、リアルタイム動作が困難であるとされてきた。またAI画像処理においては、アナログ信号をデジタル化する際の精度を示す量子ビット数を小さくすると画質が低下するとされてきた。しかしLeapMindは、同社独自の「極小量子化」技術と、超低消費電力AI推論アクセラレータIP「Efficiera」(エフィシエラ)を組み合わせることで、動画カメラのリアルタイム動作を可能にし、「Pixel embedding」(ピクセル・エンベッディング)技術で高画質化を実現させた。

これにより、高価な高感度センサーや大型レンズを使わずとも、32bit浮動小数点モデルと同等の画質が得られるようになった。監視カメラや検査用カメラなど産業用カメラを高画質化できるため、物体認識や検査の精度が向上する。LeapMind取締役CTOの徳永拓之氏は、「低ビット量子化モデルによるAI画像処理技術の製品化は我々が調べる限りでは世界初です」と話す。

LeapMindはこのモデルの特徴を、Raw-to-rawによるノイズの低減と既存画像処理パイプラインへの影響の最小化、ディープラーニングベースのノイズ低減処理、センサー固有のノイズ再学習で最適化が行える学習済みモデルの提供、リアルタイム動作可能な軽量処理としている。

入力画像。左:ISO51200、1/800sec, F4.0で撮影。右:ISO102400、1/320sec、F8.0で撮影

入力画像。左:ISO51200、1/800sec, F4.0で撮影。右:ISO102400、1/320sec、F8.0で撮影

出力画像:32bit浮動小数点モデルの出力

出力画像:32bit浮動小数点モデルの出力

出力画像:LeapMindの極小量子化モデルの出力

出力画像:LeapMindの極小量子化モデルの出力

 

30cm下の土壌を調査し、栄養素や微生物といった実際の畑の化学的特性把握を支援するEarthOptics

ここ数十年の間に、持続可能で効率的な農業は、巨大なトラクターの問題からビッグデータの問題へと変化してきた。スタートアップのEarthOptics(アースオプティクス)は、精密農業の次のフロンティアは土壌の奥深くにあると考えている。同社は、ハイテク画像処理技術を用いて、従来の技術よりも早く、より正確に、より安く、農地の物理的および化学的組成をマッピングできると謳い、そのソリューションを拡大するために1000万ドル(約11億円)を調達した。

EarthOpticsの創業者でありCEOのLars Dyrud(ラース・ダイルード)氏は「土壌をモニタリングするほとんどの方法は、50年間変わっていない」とTechCrunchに語る。そして「農業における精密データや最新のデータ手法の利用については、非常に多くの進歩があった。しかし、その多くは植物や季節的な作業に焦点を当てたもので、土壌に対する投資は比較的少なかった」と続ける。

植物が根を張る土壌をより詳しく調べるのは当然だろうと思うかもしれないが、単純な事実としてそれは難しいことだ。航空写真や衛星写真、IoT技術を組み込んだセンサーが水分や窒素などを検出し、農地の表面レベルでのデータは非常に豊富になった。しかし、1フィート(約30センチメートル)より深くなると簡単にはいかない。

同じ畑でも部分ごとに、作物の出来に大きな影響を与える土壌圧縮などの物理的特性や、溶解している栄養素や微生物叢などの化学的特性のレベルが大きく異なる場合がある。こういった違いを調べるための最善の方法は「非常に高価な棒を地面に突き刺すこと」だとダイルード氏はいう。それらのサンプルから得られるラボの結果によって、畑のどの部分を耕したり肥料を与えたりすべきかを判断する。

画像クレジット:EarthOptics

棒による調査は重要であり、農場では今も行っているが、数エーカー(数千平方メートル)ごとに土壌サンプルを採取することは、1万エーカー(約40平方キロメートル)もの土地を管理する場合では、大変な作業となってしまう。そのため、データが得られない多くの農場では、すべての畑を耕し肥料をまき、何のメリットもない、むしろ有害なプロセスに多額の費用を投じている(ダイルード氏は、米国では約10億ドル[約1100億円]もの費用をかけて不必要な耕作を行っていると推定している)。そしてこれは、地中に安全に封じ込められていた大量の炭素を放出してしまうことにもなる。

画像クレジット:EarthOptics

EarthOpticsは「高価な棒」に相当する部分を最小化することで、根本的により優れたデータ収集プロセスを目指している。同社は、地中探知レーダーと電磁誘導を利用した画像処理システムを構築し、土壌深部の組成地図を作成している。1つのサンプルから何エーカー(何千平方メートル)ものデータを推定する方法に比べ、より簡単で、より安く、より正確なものだ。

GroundOwl(グラウンド・オウル)とC-Mapper(シーマッパー、Cはcarbon[炭素]の頭文字)という同社の2つのツールでは、機械学習がその中核をなしている。同社のチームは、非接触データを通常よりはるかに低いレートで採取された従来の土壌サンプルと照合するモデルを学習させ、従来よりもはるかに高い精度で土壌の特性を正確に予測できるようになった。画像処理装置は、通常のトラクターやトラックに搭載可能で、数フィート(数十センチメートル)ごとに測定値を取得する。物理的なサンプリングは継続して行われるが、その頻度は数百回から数十回のレベルに低減した。

現在の方法では、何千エーカーも(何十平方キロメートル)の農地を50エーカー(約20万平方メートル)ごとに分割し、この区画にはもっと窒素が必要だとか、この区画は耕す必要があるとか、この区画にはあれこれの処理が必要だとかいったことを考える。EarthOpticsは、それをメートルの単位にまで細分化し、そのデータを、耕す深さを変えられるスマート耕運機のようなロボット化された農業機械に直接供給することができる。

画像クレジット:EarthOptics

畑に沿って走らせると、必要な深さだけ耕して進んでいく。もちろん、誰もが最新の農業機械を持っているわけではないため、データは、より一般的な地図として、耕したり他の作業を行ったりする時期など、ドライバーに一般的な指示を提供することもできる。

このアプローチが軌道に乗れば、コストダウンを目指す農家にとっては大きな節約になり、規模拡大を目指す農家にとっては、農地面積や耕作費用に対する生産性が向上することになる。そして最終的なゴールは、自動化やロボット化された農業を実現することでもある。この移行は、機器や運用方法を練り上げている初期段階ではあるが、いずれにしても必要となるのは優れたデータだ。

ダイルード氏は、EarthOpticsのセンサーシステムが、ロボット化されたトラクターや耕運機などの農業機械に搭載されることを期待しているが、同社の製品は、データと何万回もの現地調査での実測値を用いてトレーニングした機械学習モデルに他ならない、と述べている。

同社の1030万ドル(約11億3000万円)のシリーズAラウンドでは、Leaps by Bayer(リープス・バイ・バイエル、複合企業バイエルのインパクト投資部門)がリードし、S2G Ventures(S2Gベンチャーズ)、FHB Ventures(FHBベンチャーズ)、Middleland Capital(ミドルランド・キャピタル)のVTC Ventures(VTCベンチャーズ)、Route 66 Ventures(ルート66ベンチャーズ)が参加した。今回の資金調達では、既存の2つの製品の規模を拡大するとともに、明らかにすべての農場が関心を示すであろう次の製品、水分マッピングに着手する予定だ。

画像クレジット:EarthOptics

原文へ

(文:Devin Coldewey、翻訳:Dragonfly)

あらゆる肌色の顔を美しく見せるPixel 6カメラのReal Tone、多様性を広げるAI技術

スマホメーカー各社が写真での顔の写り方に特別な注意を払っているのは、理に適っている。米国時間10月19日、Google(グーグル)が発表した新しいPixel 6には、人間をこれまで以上によく見せるための、AIを搭載した新しいツール群が導入されている。その中でも特に注目されているのが、動く顔のブレを軽減する「Face Unblur(顔のぼかし解除)」と「Real Tone(リアルトーン)」だ。後者は、Googleの新しいTensorチップを搭載したAIによる後処理機能で、あらゆる肌色の顔を可能な限り美しく見せることを目指している。

関連記事
Google Pixel 6のカメラはAIでスナップショットをスマート化する
Pixel 6のAI機能向けに設計されたTensor SoCで、グーグルは独自チップに賭ける

スマートフォンで撮影される写真の大半は、自撮りであれ、他撮りであれ、人間が写っている。従来、複数の顔が写っている写真、特に顔の肌色がすべて異なる場合、露出をきれいにするのは非常に難しいとされてきた。新しいPixel 6では、コンピュテーショナルフォトグラフィーのレイヤーが加わり、写真に写っている全員ができるだけきれいに見えるようになっている。Pixelチームは、さまざまなエキスパートのイメージメーカーやフォトグラファーと協力して、ホワイトバランス、露出、アルゴリズムの調整を行った。同社は、これにより、どんな肌色の人でもうまく撮れるようになったとしている。

Googleは、リアルトーンをフォトグラファーが直面している課題に対する決定的な解決策ではなく、同社のカメラシステムの改善そして、1つのミッションとして捉えていると強調している。Googleは、すべての人々、特に有色人種が、カメラによる顔の撮影においてよりよく表現されるよう、多大な資源を投入している。

AndroidチームのAdvanced PhotographyプロダクトマーケティングマネージャーであるFlorian Koenigsberger(フロリアン・ケーニヒスベルガー)氏は、Pixel新機種の発売に先立って行われたブリーフィングインタビューで、次のように述べた。「私の母はダークな肌の黒人女性で、父は白人のドイツ人です。私の人生を通じて、ずっと疑問でした。どうしたらみんながきれいに見える写真が撮れるだろう。新しいカメラは、その道のりの一歩です。Googleの多様性の数値はもはやミステリーではありません。当社には、実体験や、この問題に関してオーセンティックに語ることができる人材という点で、明らかに不足しているものがあると理解していました」。

カメラチームは、フォトグラファー、カラリスト、シネマトグラファー、撮影監督、ディレクターなどと協力して、多様な肌色の人々、特により暗い肌色の人々に照明を当てて撮影する際の課題を深く理解しようとした。中でも、ドラマシリーズ「Insecure(インセキュア)」の撮影監督であるAva Berkofsky(アヴァ・バーコフスキー)氏、フォトグラファーのJoshua Kissi(ジョシュア・キッシー)氏、撮影監督のKira Kelly(キラ・ケリー)氏など、幅広い分野のプロフェッショナルの経験を活用した。

「エスニシティや肌の色だけでなく、さまざまな手法を含め、実に多様な視点を取り入れることに注力しました」とケーニヒスベルガー氏は語る。「カラリストたちは、映像制作の過程で起こるサイエンスとして考えているので、実際に話してみると最も興味深い人たちでした」とも。

Googleのプロダクトチームは、画像処理の専門家たちと協力して彼らにカメラを渡し、混合光源、逆光、室内、1枚の画像に複数の肌色を入れるなど、非常に難しい撮影状況に挑戦してもらった。

「私たちは、特にこのようなコミュニティにおいて、どこが問題なのかを学び、そこからどのような方向に進むべきかを考えなければなりませんでした」とケーニヒスベルガー氏は説明する。「イメージングのプロフェッショナルたちは非常に率直で、我々のエンジニアと直接会話をしていました。私はこの会話の進行を手伝いましたが、技術的な学びだけでなく、この空間で起こった文化的な学びも興味深いものでした。例えば粉っぽさ、よりダークな肌のトーン、質感などのことです。ミッドトーンのニュアンスはさまざまです」。

このプロセスは、カメラの顔検出アルゴリズムから始まる。カメラが顔を見ていることを認識すると、カメラはどのように画像をレンダリングすればうまくいくかを考え始める。複数のデバイスでテストを行った結果、Pixel 6は競合メーカーの製品や旧世代のPixelデバイスよりも一貫して優れたパフォーマンスを発揮していることが、Googleのチームによって明らかになった。

この機能が実際にどのように機能するのか、グローバルな編集(画像全体に同じフィルターを適用すること)を行うのか、あるいはAIが編集パスの一部として個々の顔を編集するのかは、すぐには明らかになっていない。近いうちに、カメラのこの特定の側面が実際にどのように機能するのか、より詳しく調べてみたいと思う。

カメラチームは、この分野での取り組みにより、カメラアルゴリズムを作成するためのトレーニングセットの多様性が25倍になったことを強調している。リアルトーン機能は、カメラアルゴリズムの中核をなすものであり、オフにしたり無効にすることはできない。

画像クレジット:Google

原文へ

(文:Haje Jan Kamps、翻訳:Aya Nakazato)