Adobe After Effectsでビデオのコンテンツ対応塗りつぶしができるように

Adobeは米国時間4月3日、Creative Cloudの一員である特殊効果ソフトウェアAfter Effectsでコンテンツに応じた塗りつぶし(content-aware fill)ができるようになる、と発表した。この機能はかなり前からPhotoshopにあり、写真から何かを消したらそのあとを、まわりにあるもの〔例: 青空〕に基づいて塗りつぶすのによく使われる。ご想像つくと思うが、それを静止画でなく動画でやろうとすると、相当大変だ。その消すべきものがあったすべてのコマで、塗りつぶしをやんなきゃならない。

同社はその大変なことを、AdobeのAIプラットホームAdobe Senseiを利用して実装した。邪魔者のブームマイクなど要らないものを消すには、それをマスクすればよい。マスキングが完全に終わったら、このツールが自動的に消されたあとを追跡して、一部が何かの後ろに隠れていたときでさえも、その場所にふさわしいピクセルで填める。結果を微修正したければ、Photoshopを使って参照フレーム(reference frames)を作ればよい。

  1. Ae_Content-Aware-Fill_1-Before

  2. Ae_Content-Aware-Fill_2-Mask

  3. Ae_Content-Aware-Fill_3-After

このコンテンツ対応塗りつぶしは360度のVRプロジェクトでも便利に使える、とAdobeは言っている。360度だから何かをカメラの視界の外に隠せない。塗りつぶすしかない。

来週行われる今年のNABの年次大会でAdobeは、After EffectsとPremiere Pro用にたくさんのビデオ機能をローンチする。その一部はワークフローの改良にフォーカスし、たとえばFreeform Projectという新しいパネルでは、重要なものを視覚的に並べ替えたり、オーディオをもっと良くするツールがある。なお、AuditionとPremiere Proには、環境音を抑制するオートダッキング機能がある。

例によってAdobeは、アプリケーションのパフォーマンスアップにも力を入れている。たとえば、PremiereのGPUレンダリングはエクスポートの時間を短縮し、8Kビデオのマスクの追跡は最大38倍速く、HDのシーンなら最大4倍速い。

ビデオは今、黄金時代を迎えているから、放送や映画、ストリーミングサービス、デジタルマーケティングなどの分野でビデオのプロたちが、消費者からのより高度なコンテンツの要求に直面している。一方でプロダクションのタイムラインはますます短く、仕事の受注数は増え続ける。Adobeのデジタルビデオオーディオ担当ヴァイスプレジデントSteven Warnerは次のように述べる。「Adobe Senseiが提供するパフォーマンスの最適化とインテリジェントな新機能の数々により、ビデオのプロたちは、だらだらと長かったプロダクションの仕事を減らし、クリエイティブなビジョンに集中できる」。

そして、Twitchのストリーマーにはボーナスがある。これからはCharacter Animatorを使ってリアルタイムのアニメーションを作れる。それはこのツールを使っているColbert Show などでお馴染みの、ライブのアニメーションだ。

[原文へ]

(翻訳:iwatani、a.k.a. hiwa

Adobe Photoshopの‘コンテンツに応じた塗りつぶし’が性能アップ、おかしな失敗が減少

Adobe Photoshopの“コンテンツに応じた塗りつぶし”(content-aware fill)が登場したときは、誰もが感激した。退屈な名前だけど、すばらしく便利な機能で、画像のセレクトした範囲内にAIが選んだ画像の破片をリプレースして、そのまわりと同じ本物らしく見せかける。しかしAIは万能ではないから、ときどき、おかしな、笑えるような結果になった。でも今度の新しいツールでは、AIの失敗がほどんどなくなるそうだ。

今日(米国時間9/10)発表された予告編ビデオでは、コンテンツに応じた塗りつぶしの設定項目が大量に増えたから、修正作業が楽しくなるかもしれない。フォトグラファーは元々、加工や修正が好きな人種だが、修正のメニューが増えればそれだけ結果も良くなる。

以前は、どうだったか…

…ときどき、こんな結果になった…

[コンテンツ対応の失敗]

…今度からは右側に大量のオプションが並ぶのでそこから選ぶ。

いちばん重要な違いは、ユーザーが範囲指定をした領域内でどの部分を塗りつぶすべきかを、AIが選べることだ。上の失敗例では、馬の部分を塗りつぶそうとして、ほんの一筆(ひとふで)か二筆(ふたふで)ぶん、除外している。しかし正確である必要はない。人間の手とマウスによる指定が1ピクセルの精度で間違っていても、今度のアルゴリズムは正しく判断する。

改良されたアルゴリズムはさらにお利口になり、使用する成分の回転や縮小拡大も臨機応変に行なう。その方が良い、と判断したら、コンテンツの鏡像も使う。

塗りつぶしを、別のレイヤ(層)に出力できるので、アーチストにとって重要な「非破壊的編集」ができる。これは、前からあるべきだった、とぼくなどは思うね。

ここまで強力な修正をやると、純粋な人はしらけるかもしれない。でも、実際に手元にある写真を使うしかない場合もあるし、ちょっと牛の数が多すぎる、ということもあるだろう。手作業による写真修正の名人ではない人が、大きな修正をしなければならないときには、使ってもいいことにしておこう。

今回の新しいアップデートは“もうすぐ提供”ということだから、アップデートの通知によく注意していよう。

画像クレジット: Adobe

[原文へ]
(翻訳:iwatani(a.k.a. hiwa

Adobe、iPad版Photoshopを開発か

現在AdobeのアプリはApp Storeに30種類以上ある。しかし、ひとつ欠けているものがある。Bloombergによると、同社はiPad用にフルバージョンのPhotoShopを開発しているらしい。うなずける理由はたくさんある。

第一に、今やiPadは複雑な画像編集プログラムを動かせるだけのパワーを持っている。つい2日前、SerifはiPad用のAffinity Designerを発売した。Adobe Illustratorの競合品だ。さらにベンチマークを見れば、iPad Proが多くの中堅クラスのノートPCより強力であることがわかる。

第二に、複数のデバイスにまたがるファイルやプロジェクトの同期が簡単になり、多くの人々が複数端末を使うようになった。職場のパソコンと個人のノートPCで同じMicrosoft Wordファイルを使うようになってからもう何年にもなる。おそらく、DropboxやOneDriveを使って同じページを開いている人もいるだろう。これは巨大なメディアライブラリーについても同じことが言える。

数年前まで、人は環境に応じてデバイスを使い分けていた。仕事用のノートPC、ソファで使うiPad、ゲーム用の大きなデスクトップパソコン等々。しかしそれは過去の姿であり、今は文字通りあらゆるデバイスで仕事をしている。

そしてPhotoshopに関して言えば、、Apple PencilとタッチスクリーンのおかげでiPadはとりわけ便利なデバイスだ。写真を見るために大きな画面が必要なときもあるだろうし、Apple Pencilを使って写真を操作したいこともあるだろう。

iPadでPhotoshopを使えるようになれば、複数デバイス間をシームレスに行き来しながら同じファイルを編集できる。イラストレーターたちはこの利便性を生かしてWacomのタブレットを捨てられるかもしれない。

AppleがMac Proワークフローチームを同じ理由で結成したことを覚えているだろうか。Final Cut Pro XやLogic Pro XがiMacやiPadで動くようになれば、プロジェクトとのかかわり方が変わるかもしれない。Appleはタッチスクリーン付きのMacを作ることはないかもしれないが、人の指やApple Pencilを使ってクリエイティブなプロジェクトに参加する方法が用意されることは間違いない。

そして、PhotoshopをiPadに載せることはビジネスモデルの観点からも意味がある。定期購読モデルに移行したAdobeにとって、ユーザーを固定することは何よりも重要だ。ユーザーの使うどのプラットフォームでもお気に入りのアプリが動いていれば、Adobeアプリに費やす時間は増え、Creative Cloudに毎月支払い続けることになる。

このプロジェクトは高度なエンジニアリングの成果だ。しかし、Adobeが1つのアプリを複数プラットフォームで開発するのは初めてではない。

Bloombergによると、iPad版Photoshopの詳細は10月のAdobe Macカンファレンスで聞くことができるかもしれない。AdobeのCreative Cloudプロダクト最高責任者、Scott Belskyは、これらの新バージョンをできるだけ早く公開すべく努力していると語った。

[原文へ]

(翻訳:Nob Takahashi / facebook