AIでモデルのポーズを変えるアドビのProject Strike a Poseは

毎年開催されるAdobe MAXカンファレンスの目玉の1つは「スニーク」セッションだ。このセッションで同社は最先端研究をしているプロジェクトをいくつかお披露目する。研究成果は主力製品であるCreative Cloudのアプリに組み込まれることもあれば、クールなデモだけのこともある。2021年のAdobe MAXのスニークで興味深かったものといえば、Project Strike a Poseだ。

こんな課題を解決したいとしよう。使いたいモデルの写真はあるのだが、そのモデルがあなたの希望するポーズをとっている写真がない。こんなときにProject Strike a Poseは、別のモデルがあなたの希望するポーズをとっている写真をサンプルにして、AIプラットフォームのAdobe Senseiの活用により、使いたいモデルがそのポーズをとっている写真を自動で生成する。基本的にはモデルのポーズに関するStyle Transferのようなものだ。

画像クレジット:Adobe

サンプルのポーズと大まかに似せただけでもなく、顔を入れ替えただけでもない結果になるのが印象的だ。少なくとも、このプロジェクトに関わるAdobeのリサーチサイエンティストであるKrishna Kumar Singh(クリシュナ・クマール・シン)氏が見せたデモでは、Project Strike a Poseのニューラルネットワークは、例えばモデルが着ている服、モデルの頭の角度、靴までも適切に再現できているようだった。

しかも、モデルが背を向けた写真が欲しいときにもこのツールを使える。ただし下の写真の通り、髪は若干ずれている。

画像クレジット:Adobe

Adobeはこのプロジェクトで使われているアルゴリズムのトレーニングについては説明していない。しかしこのようなニューラルネットワークをトレーニングするには、モデルがさまざまなポーズをとっているサンプルをたくさん使う必要があるのは明らかだ。シン氏はこれまで敵対的生成ネットワークに関する多くの研究をしてきたので、この新しいプロジェクトはすでにその技術をベースにしている可能性がある。

現時点では実験的な研究プロジェクトで、Maxのスニークで披露されるものはたいていそうだが、これがPhotoshopなどのツールに組み込まれれるかどうかはわからない。もしこれがデモと同じように動作するなら(Adobeは人種の異なるモデルを使ってもソフトウェアに問題はないと言っている)、Photoshopなどのアプリ、さらには画像を操作するスキルがさほど高くない人々がすでに広く使い始めているAdobe Sparkなどでも、この機能は間違いなく多くのユーザーに歓迎されるだろう。

残念なことだが、このようなシステムを悪用する方法も容易に想像できる。ディープフェイクや写真の操作が問題となる現在、技術に明るくない人が有名人、あるいは他の誰かの名誉を傷つけるような画像を簡単に作れてしまう。もちろん今でもそうしたことは可能だが、うまくやろうとすればある程度のスキルは要る。Project Strike a Poseなら数回のクリックでできてしまうのだ。

画像クレジット:Adobe

原文へ

(文:Frederic Lardinois、翻訳:Kaori Koyama)

アドビが「ウェブ版」アプリに力を入れる理由とは?Creative Cloud製品群・最高製品責任者ベルスキー氏インタビュー

アドビが「ウェブ版」アプリに力を入れる理由とは?Creative Cloud製品群・最高製品責任者ベルスキー氏インタビュー

Webブラウザ版Photoshop

アドビは10月27日から28日にかけて、クリエイティブの祭典「Adobe Max 2021」を開催する。本稿では、同社Creative Cloud製品群の最高製品責任者であるスコット ベルスキー(Scott Belsky)へのグループインタビューを元に、質疑応答の内容を抜粋してお届けする。

アドビ、Creative Cloud担当エグゼクティブバイスプレジデント兼CPO(最高製品責任者)のScott Belsky(スコット ベルスキー)氏

アドビ、Creative Cloud担当エグゼクティブバイスプレジデント兼CPO(最高製品責任者)のScott Belsky(スコット ベルスキー)氏


── 2021年におけるクリエイター市場でのトレンドをどのように把握していますか?

いくつか興味深いトレンドがありました。例えば、写真でしたら、当然普段なら実際にその場所へ行ったりとか、もしくはスタジオで撮影したりするわけです。こういった部分での成長は大きくありませんでした。一方で、ビデオや、3D、「イマーシブクリエーション」と呼ばれる没入型のコンテンツ制作の分野に関しては、かなり大きな成長が見られました。

特に企業やブランドがお客様に対し、エンゲージするためのコンテンツを作りの重要性を認識したことで、さまざまなソーシャルプラットフォーム上でビデオが使われるようになりました。また、3D&イマーシブというセクターにおいては、以前でしたら多くの企業がスタジオで物や人を撮影していましたが、最近は3Dでレンダリングすることが増えてきています。

──トレンドとして挙げられた3D&イマーシブジャンルについて、アドビとしては3Dモデリング制作ツールなどの展開をどうお考えですか?

3D&イマーシブにおけるクリエイティブの世界は、まだ早期の段階にあると思います。これまでにコンシューマーの多くが3Dを経験したのかと考えても、そうではないはずです。一方で、将来的には私たちは、ARを駆使した世界で生活し、エンターテインメントの多くもVRになっていくことでしょう。こういった世界においては、全てのクリエイティビティに関するプロフェッショナルが3Dや没入型、あるいはインタラクティブなコンテンツものを作らなくてはならなくなります。

私たち自身がよりバーチャルな世界で生活することを「メタバース」と言ったりもします。そんな世界では、ファッションや、アクセサリー、そして3Dの空間といったものが、一層必要とされてくるのだと思います。そのため、私たちにとっても、「Adobe Substance 3D Collection」を充実させるのが非常に重要だと思っています。これはクリエーターの方々が、新しいバーチャルな世界において、制作活動を続けていくために欠かせません。そのためには、 やはり3Dの能力や機能をPhotoshopやIllustratorといったプロダクトに含めていくことが重要であると考えています。

──今回、Creative CloudスペースやCreative Cloudカンバスなど、Web上でのコラボレーションを想定した新サービスが登場しました。その背景についてお聞かせください。

クラウドドキュメントの開発は、私たちにとっても長い旅路になると思っています。元々、最終的には全てのプロダクトをクラウドに持っていきたいという意図はありました。また、お客様からも私たちの製品をあらゆるところで使いたい、例えば「どんな場所にいてもiPadでPhotoshopを使いたい」とか、「Webでのコラボレーションをより簡単にしたい」といった、要望がありました。

こうした背景もあって、私たちはクラウドドキュメントに対して方向性を定めなければいけないと考えてきました。アドビという企業はかつて、ローカルでのファイル格納や、デスクトップ製品に慣れていました。そういう意味において、Web上でのサービス提供は大きなトランスフォーメーションになると思います。こうした変化は、コロナ危機によって加速したと言える側面もあります。

私たちとしては、クラウド上にプロダクトを持ってくることによって、より多くの可能性を開放できると考えています。皆さんがより共同作業を行いやすくなりますし、異なるデバイスを使うこともできる。クラウドでしか実現できないようなAIのパワーをワークフローに取り入れることも可能です。さらに、その他のWebアプリケーションやクラウドサービスとの相互接続性も担保されていきます。

──10月に買収完了した「Frame.io」についてお伺いします。同社由来の機能をCreative Cloud製品群へのネイティブに実装することで、どのような進化が期待できるでしょうか?

Creative Cloudの全てのセグメントでどのようなコラボレーションをしたいか、を表しているのがこの「Frame.io」です。まず、このFrame.ioには、深いオプションがありまして、権限管理や、ビデオのウォーターマーク(透かし)付与、エディターのフィードバックの管理などが行えるのが特徴です。Frame.ioを使うようになったお客様は、よく「Frame.ioを使っていなかったころ、どうやっていたのか覚えていない」と仰られることが多いですね。

我々は、Adobeのプロダクトを利用する全てのお客様に対して、こういった魔法のようなコラボレーション機能を同じレベルで提供したいと考えています。

──Adobe MAXの完全オンライン開催は今回で2年目になります。昨年の経験が活かせた部分などはありますか?

「どういうふうになるのか」が何となく想像がついている点で、昨年よりも今年の方がよりリラックスして臨めましたね。例えば、私は基調講演の収録をしますので、自分が語りたいストーリーを考える際に、新しい人たちだったり新しい製品だったり、新しい声だったりを十分にカバーできたと思います。

ただ、そうは言っても、実際にお客様とお会いするということがなかなかできないのは少し残念には感じます。通常でしたらカリフォルニアや東京で行うイベントですので、現場でコミュニティやお客様との繋がりが生まれることになります。それができないのは大変残念です。

将来的には、オフラインとオンラインのハイブリッドでできればな、と思います。オンラインのセッションで何百万人もの人たちに、色々と語る機会があって、同時にコミュニティの繋がりを生むイベントなどもできればいいなと思っています。

──ありがとうございました。

なお、昨年開催されたAdobe MAX 2020における動画視聴回数は2100万回以上を記録したという。400以上のセッション、キーノート、MAX Sneaks、ワークショップが実施され、Adobe.comのイベントサイトへの訪問は220万回以上、ソーシャルインタラクションは5000万回以上を記録した。

2021年のAdobe MAX 2021は、日本時間10月27日~28日の2日間に渡って開催され、基調講演や400以上のブレイクアウトセッションが公開される予定だ。日本向けのオリジナルセッションも50以上用意され、すべて無料で視聴できる。アーカイブ視聴も用意されるので、ぜひチェックしてみて欲しい。

(井上晃(AKIRA INOUE)。Engadget日本版より転載)