クロマキー合成(またはブルーバック/グリーンバック合成)は昔からある技術だ。この技術は1930年代に初めてハリウッドで導入されて以降、現在でも映画やスポーツ報道、そしておなじみの天気予報などで利用されている。一方で、クロマキー合成を実現するには、緑色の幕や固定されたカメラ、さらにスタジオで使われているような照明機器を準備しなければいけないため、コンシューマー向けの技術とは言えない。
しかし、もしもバックグラウンドが動く動画を作れて、それをソーシャルメディア上で友だちとシェアできたらきっと楽しいだろう。
そんな思いを実現するために誕生したBlin.gyというアプリを使えば、スタジオ機材なしで「モバイルクロマキー合成」を再現できる。
Blin.gyのチームは、以前Chosenと呼ばれるアメリカン・アイドル風のアプリを開発していた。ユーザーが自分の才能を披露するために、短い動画を作成・シェアできるようになっているこのアプリは、The Ellen Show(2001~2002年にかけてアメリカで放映されていたコメディ番組)とのパートナーシップを通じてトラクションを獲得していったが、しばらくすると、彼らのメインターゲットであるティーンエイジャーは、Musical.lyのように音楽が中心のコンテンツを好むということがわかった。
そこで彼らは一歩下がって、若者がこれまで体験したことがないような表現ができるコンテンツを作るためのツールを開発することにした。
彼らの狙いは、Blin.gyにしかできないような、ユニークで新しいタイプのコンテンツを作ることだった。Musical.lyなら音楽に合わせて早送りしたような映像を作ることができ、SnapchatにはフィルターやAR風のエフェクトがあり、そしてInstagramにはBoomerangがあるように、Blin.gyも独自の「っぽさ」を見つけようとしていたのだ。
最終的にBlin.gyのチームは、モバイルクロマキー合成を使ってユーザーを音楽ビデオに登場させるというアイディアを思いついた。今日のテクノロジーを使えば、昔からあるクロマキー合成の技術をモバイル化するのなんて簡単なはずだと思う人もいるかもしれないが、実はこれはかなり複雑なプロセスだ。
特許出願中のBlin.gyのアルゴリズム(詳細はこちらの白書参照)は、昔ながらのクロマキー合成と物体検出や輪郭検出、色操作といったコンピュータビジョンのテクノロジーから構成されている。つまりBlin.gyは、動画が撮影されている環境に合わせて、複数の技術をダイナミックに使い分けたり併用したりできるのだ。
そのため、AppleのPhoto Boothではカメラが動くとエフェクトも崩れて(しまいには背景まで歪んで)しまうが、Blin.gyであれば、撮影中にカメラが動いてしまっても問題なく合成されるようになっている。
もちろん、コンピュータビジョンのテクノロジーはまだ誕生して間もない(かつ動画を撮影している携帯電話の処理能力に左右される)ため、Blin.gyのチームは、アプリの効果を最大限発揮するために、「撮影時は後ろに何も置かないようにする」といったアドバイスを提供している。
実際にBlin.gy上の動画を見てみると、「本物の」緑色の幕を使って撮影されたような素晴らしい出来のものから、ほとんど合成が上手くいっていないものまであり、全ての動画が完璧なクオリティというわけではないことがわかる。
しかしBlin.gyのチームは、アップされている動画の中には、アプリの機能を完全に発揮できないような処理能力の低いAndroid携帯によって撮影されたものもあると説明する。さらに、アプリを初めて開いたときには、撮影時の背景の選び方やライティングについての説明文が表示されるが、Blin.gyの主なユーザーである若者が、全ての説明文を読んでいるとは思えず、それが原因で一部の動画は合成が上手くいっていない可能性もある。
現在アプリ上には何万という数の音楽ビデオが準備されており、長さは全て15秒に設定されている。最終的にはレコード会社と協力し、例えばDrakeの横にユーザーが入れるスペースを空けた動画のような、独自のコンテンツを作っていきたいとBlin.gyは考えている。実は同社は既にこのアイディアを試しており、ユーザーはMigosのBad and Boujeeに「出演」できるようになっている。この動画の中にはジャンプカットがなく、ユーザーが入るスペースも空けてあるため、ユーザーはなかなかリアルな映像をつくることができる。
アプリはiOS版とAndroid版があり、どちらも現在公開中だ。
[原文へ]
(翻訳:Atsushi Yukutake/ Twitter)