米国時間10月1日、Apple（アップル）は新しいiPhoneのカメラでDeep Fusionのベータ版を使えるようにした。これはiOSのアップデートとして提供される。Deep Fusionは複数画像をピクセルごとに合成して画質をアップするテクノロジーで、従来のHDRよりも高度な処理だ。特に、皮膚、衣服、植生のような複雑な対象の描写で威力を発揮するという。
今回のリリースはデベロッパー向けベータ版で、iPhone 11のカメラでは広角レンズが、 iPhone 11 ProとPro Maxではワイドに加えて望遠レンズがサポートされる。ただし超広角はサポートされない。
Appleによれば、Deep Fusion処理にはA13 Bionicプロセッサーが必要とのこと。つまり上記以外の旧モデルではこの機能は利用できない。
iPhone 11 Proのレビューでも詳しく説明してきたが、新しいiPhoneは写真の撮影にあたってソフトと専用ハードの両面から機械学習を積極的に利用している。
iPhone 7でAppleは写真の画質を改善するために広角レンズと望遠レンズから得られる情報を合成し始めた。このプロセスはユーザーの介入を必要とせずバックグラウンドで自動的に行われた。Deep FusionはこうしたAppleの写真哲学をさらに一歩先に進める素晴らしいテクノロジーだ。
Deep Fusionは一定のシチュエーションで自動的に起動されて画質を改善する
光源の状態によって異なるが、広角側での撮影ではナイトモードが使われる10ルクス以下の暗い状況では自動的に起動する。望遠側では常時起動しているが、極めて明るい撮影状況ではスマートHDRに切り替わる。ハイライトの光量が非常に大きい場合にはこちらのほうが有効だという。
AppleはDeep Fusionを利用した撮影サンプルを多数発表しているのでそれらを記事にエンベッドした。Deep Fusionが実際に使えるようになったので、利用した場合と利用しない場合を比較した写真もアップされるようになるだろう。
Appleによれば、Deep Fusionの仕組みは概ね以下のようなことだという。
カメラは段階的にEV（光量）値を変えるブラケット撮影を行う。最初はEV値をマイナスに振り、シャッター速度が速い暗めの映像を撮影する。ソフトウェアはここから鮮明さを得る。次に適正EV値で3枚撮影し、最後にシャッター速度を遅くしEV値をプラスにしたショットを撮影する。これらの映像を合成して2枚の画像を得る。
ここで生成された1200万画素の写真2枚をさらに2400万画素の写真1枚に合成する。最後の合成を行う際には4つの独立のニューラルネットワークが用いられ、iPhoneの撮像素子のノイズ特性や撮影対象が何であるかが考慮される。
合成処理はピクセル単位で実行される。機械学習モデルが撮影された画像の「空間周波数」を含めた情報を把握して最良の画質を得るための合成方法を決める。空などは全体が比較的単調で繰り返しが多いが、画像周波数は高い。人間の皮膚は画像周波数は中位、衣服や植生は画像周波数が高いが、どちらも複雑な画像だ。
Deep Fusinシステムはこうした画像各部の特質を把握して全体の構成を決定し、最良の結果が得られるようピクセルを選ぶ。
Appleによれば、こうした処理によって皮膚の質感や衣服のディテール、動く対象のエッジの鮮明さなどが改善されるという。
現在のベータ版では、Deep Fusionのオン、オフを切り替える方法はないが、超広角はDeep Fusionをサポートしていないため、これを利用してDeep Fusionの「あり」と「なし」を比較するテクニックがあるもようだ。
Deep Fusionは実行に1秒程度必要とする。ユーザーが撮影後すぐにタップしてプレビューを見ようとした場合、画像が現れるのを0.5秒ほど待つ場合があるかもしれない。しかしこの程度であればほとんどのユーザーはバックグラウンドでDeep Fusion処理が行われていることに気づかないだろう。
まずは実際に使ってみたいところだ。我々はDeep Fusionが利用できるようになり次第テストを行い、結果を報告するつもりだ。
［原文へ］
（翻訳：滑川海彦@Facebook）