拡張現実は今、買収ブームだ。FacebookやSnap、Appleなどなどが、ユーザーエンゲージメントの増大につながりそうなチームや技術にお金を投じている。デンマークのSpektralも、大きな将来性のありそうなこの分野で成功をねらっているビジュアルイフェクトの新人企業だ。すでにVCたちも注目しており、今日同社はLitecapとAmp Venturesからの280万ドルの資金調達を発表した。その資金は同社の、機械学習に支えられたリアルタイムのグリーンスクリーン〔映像合成用グリーンバック〕技術の開発の継続に充てられる。
Spektralは、ベンチャー支援のスタートアップの多数派と違って通常の意味での製品がない。製品を作ってそれを市場に出す、という路線ではなく、Spektralは研究開発によるパテントの蓄積をねらっている。最初はCloudCutoutと呼ばれるスチルフレームを追究したが、その後はリアルアイムビデオへ移り、機械学習とスペクトラルグラフ理論を組み合わせて人や物を背景から分離し、それらを新しいストリームにオーバレイする技術を研究開発している。
この技術がSnapchatやMessengerに実装されている、と想像するのはきわめて容易だが、だからといってその技術が広く採用されているとは限らない。Spektralがその技術の用途を、プロダクションや広告などそのほかの分野に広げようと努力しているのも、たぶんそのためだ。
オブジェクトを背景から分離するための新しい設計の可能性を機械学習に求める研究は、そのほかの研究グループでも行われている。たとえばAdobe, Beckman Institute for Advanced Science and Technology, University of Illinois at Urbana-Champaignの三者の共同研究により、その処理を自動化する方法が発表されている。とは言うものの、ビデオと画像は二頭のまったく異なるモンスターだ。
これまでずっと、細線〔例: 人間のヘアー〕がカットアウト（切り抜き）を評価するときの重要な規準だった。SpektralのファウンダーでCTOのToke Jansenは曰く、髪の毛の切り抜きが難しいことを、人びとは簡単に忘れてしまう。人間が鋏を使って切り抜くときは、何も考えなくても複雑な形の周辺を正しく切り抜ける。しかしコンピューターの場合は、最新のディープラーニングのモデルを百万点の画像で訓練しても、マシンは間違える。
Spektralはその名のように、ビデオのフレーム中の部分画像のスペクトラルクラスタリング(spectral clustering)を実験している。その付加的な情報を事前に加えることによって、従来的なモデルを拡張する。将来的には、この技術から今よりも複雑なビデオ編集の道が開けるだろう。チームは、オブジェクトの操作に言及する。たとえば、友だちの手を自分の手で動かすなどが、彼らの開発の次のステップだ。
同社は今、その技術を次の段階へ進めるために、各分野の専門家を多数起用している。たとえばUnityで機械学習を仕切っているDanny Langeが、同社の取締役会に加わった。Langeは以前、Uberで機械学習部門のトップだった。
