ソニーが、興味深いハイブリッド技術を開発した。1つのICに画像センサーとAIによる処理システムを載せたハードウェアだ。画像とコードの融合がますます進んでいる現在では、その利点とアプリケーションの可能性はとても大きい。
コンセプトは比較的単純で、いまやどんなスマートフォンにでも使われているCMOSセンサーを、ロジックチップの上に載せるだけだ。これによって、CMOSセンサーからピクセル情報を取り出すだけでなく、それらのピクセルから情報を抽出する機械学習モデルを操作することができる。
つまり、写真をコンピューターのメインのロジックボードやGPUやクラウドなど外部へ送る前に、その写真に対して単一の電子回路が画層補正などのさまざまな処理を行う。
実際には、こういったイメージセンサーには、ピクセルの並べ替えやJPEGへの圧縮などの通常の作業を行うコンパニオンプロセッサがすでに搭載されている。しかし、これらのプロセッサは、ほんのひと握りの一般的なタスクを素早く実行することに特化している。。
ソニーによると同社が開発したチップは「もっと高度な処理と出力ができる」という。例えば、野原で犬を撮影した場合、チップはすぐにオブジェクトを解析し、画像全体を送信するのではなく、「犬」や「草」など認識したものを報告するだけでいい。
即興的な編集を行うこともできる。例えば、花だけを残りして茎は切り取るといった、写真の内容を認識して指定した部分だけをトリミングすることが可能だ。
このようなシステムの利点は、データがメインのデバイスのストレージや処理のパイプラインへ行く前に、不要なものを取り除けることだ。その後の処理コストを節減できるだけでなく、余計なものが写り込まないので、セキュリティの点でも有利だ。
公共の場所に置かれたカメラは、人の顔や車のナンバーを画像を出力する前にぼかせるだろう。スマートホームのデバイスなら、訪れた人の顔の画像だけを残したい。多重露出によって、カメラが視界としている世界のヒートマップや頻度マップも作れる。
AIをチップレベルで統合すると、節電や処理の高速化も期待できるかもしれない。しかし、最近Appleが（アップル）が買収したXnorなどは、そのようなタスクを非常に迅速かつ低コストで実行できることを示している。
もっと複雑な処理になると強力な大型チップの領分だが、このような前処理は非常に多種類の貴重なデータを作り出すことができるので、正しく設計されていれば攻撃や悪用に対してより堅牢な画像データを得られるだろう。
いまのところ、ソニーが「Intelligent Vision Sensor」と命名したこのハードウェアはプロトタイプのみで、テスト用にオーダーできるだけだ。しかし、同社は画像センサーでは世界のトップメーカーなので、今後はさまざまな用途に特化した、ありとあらゆる種類のデバイスに搭載されていくだろう。
関連記事
・コードが写真の未来を創る
・エッジコンピューティングを再定義するXnorのクラッカーサイズの太陽電池式AIハードウェア
[原文へ]
（翻訳：iwatani、a.k.a. hiwa）
