Facebook、ビデオ中の全フレームを認識し、音声を把握する特許を取得(Instagramのカバーフレーム自動選択にも活用)

顔認識、位置情報認識、そしてビデオ撮影の際に録音した音声を認識する技術まで実用に供される時代となりつつあるそうだ。そうしてFacebookは、収集したデータをもとに短編ビデオ(Instagram)で「カバーフレーム」にすべきシーンのサジェスションを行ったり、タグ情報の提案を行ったりするという特許を取得した。映っている人それぞれに通知を出す等、多くの写真やビデオの中で注目してもらえるようにする技術をいろいろと実現しているようだ。

実のところ、1ヵ月前にこの特許をみたときは、何のためのものであるのかがよくわからなかった。それまでFacebookはビデオ関連にはあまり注力してこなかったからだ。特許書類の図表によれば、撮影したビデオからカバーフレームをセレクトするようなことが書いてあったが、これは当時のFacebookではサポートされていない機能だった。ビデオからカバーフレームを選ぶのに、スマートフォンの全機能を総動員するものらしいとはわかったが、どのような形で実装するつもりなのかがよくわからなかったのだ。

しかしInstagram Videoの発表で、いろいろなことが腑に落ちた。

カバーフレームの重要性

現在、Instagramで動画を撮ると、撮影シーンの中からカバーフレームにするシーンを選択することができるようになっている。これはVineに比べても少々面倒な作業手順追加となっていて、ビデオ投稿を面倒がらせる一因ともなっているようだ。

但し、面倒であるかどうかには関わらず、カバーフレームを選択するというのは非常に重要なステップだ。ビデオの閲覧には、写真を見るよりもより多くの「投資」が必要となるからだ。以前までのInstagramであれば、望みのままの速度で全体を見渡して面白そうなものを見つけ出すことができた。しかしビデオについては、実際に見てみるまで、それが面白いものなのかどうかよくわからないのだ。見ると決断するということは即ち、時間を「投資」することになる。ほんの15秒程度のことではある。しかしモバイル環境でわざわざビデオを再生し、そしてそれがつまらないものであるとなると、多くの時間を損したように感じてしまうものだ。

閲覧者として、事前に「投資効果」をはかるのは、投稿者の人気度合い、ビデオの説明、そしてカバーフレームしかないのだ。

ビデオに含まれる全てのフレームが、ビデオ自体の魅力を伝え得るものでないことは明らかだ。そこで現在のところFacebookは、自動的にビデオの中から15フレームを抜き出し、その中からカバーフレームとして適していそうなものを選ばせるという形をとっている。そのうちのどれがベストなのかを判定する機能は持たず、時系列的に並べて投稿者に選ばせる形となっているのだ。

しかし、新しい特許技術を実装することにより、FacebookないしInstagramではビデオ中から最も面白そうな瞬間を抜き出すことができるようになる。映っている人などから判断し、カバーフレームに適した瞬間を選び出し、また注目を集めるのに適したタグの提案までをも行なってくれる。

笑顔のみならず、笑い声からも「最高の瞬間」を判定

特許が認められたのは2013年4月で、申請されたのは2011年10月のことだ。申請者はFacebookおよび従業員であるAndrew “Boz” BosworthDavid Garcia、およびSoleio Cuervoとなっている。申請タイトルはAutomatic Photo Capture Based on Social Components and Identity Recognition (’80)、Preferred images from captured video sequence (’00)、およびImage selection from captured video sequence based on social components (’65)となっている。

申請技術の基本にあるのは、ビデオフレームをひとつひとつ写真のような分析対象とするというものだ。ここで顔認識やパターン認識などの技術を用いて、映っている人々や文字情報、ブランド、風景などを把握する。

画像キャプチャプロセスにおいて、ビデオフレームを順次走査して…場所(エッフェル塔、金門橋、ヨセミテ国立公園、ハリウッド等)やショップや企業(コーヒーショップ、サンフランシスコ・ジャイアンツ等)、さらにはブランド商品(コカ・コーラ、ルイ・ヴィトンなど)を認識します。

認証プロセスを経て、映っている人物や場所、そしてブランドに対する適格なタグがサジェストされることになる。あるいは誰のニュースフィードに表示すべきかということを判定するために、収集したデータを活用していくこともできる。つまりビデオ中に映っている場所の近くにいる人に対して集中的に配信したり、あるいは場所やブランドないし映っている人と親しい関係にある人に配信するということが自動的に行える。Instagramでは5月から写真に対するタグ付けをサポートしているが、新しい特許技術と結びつくことにより、一層効果的に機能するようになる。

人やプロダクトがタグ付けされることにより、そうした人ないしモノをフィーチャーしたビデオでも、自動的に魅力的なカバーフレーム選択が行われることになる。また特許には、明るさやコントラストを判断してベストフレームを選択したり、また人の表情すら読み取って最適なカバーフレーム選択に利用すると記載されている。大勢が並んで映っているビデオを撮影したようなときは、みんなが晴れやかに笑っている瞬間のフレームがカバーフレームとして選択される。また加速度センサーからの情報も判断して、手振れのないシーンを選択するというようなことも行うそうだ。

いろいろと面白そうな機能が書かれているが、マイクで拾う音声さえも、ビデオの中のベストフレームを選ぶのに利用されるというのが面白い。

フレーム選択プロセスでは、ビデオ中の音声データも分析します(音声認識プログラムなども利用します)。そして重要な瞬間をセレクトするのです(「チーズ!」、「すごい!」、「素晴らしい!」等)

Instagramが「聴覚」を持つというようなことだ。美しい日没の風景などを見て驚嘆の声をあげたり、あるいは笑い声をあげた瞬間をInstagramはキーフレームとして選択することができるようになるわけだ。

Instagram、Vine、その他のサービスの間で争われている主力ビデオサービスの座を巡っての戦いの中、こうした技術要員が地位獲得のためのキーとなっていくのだろう。アプリケーションには軽快さと簡単さが求められ、公開までの手順は少なければ少ないほど良い。種々の機能追加はパワーユーザーに歓迎されるだろう。但し、コア部分については機能を絞込み、シンプルに使えるようにしておくことが重要だ。

Facebookは、ずっと写真などの投稿をスムーズかつシンプルに行えるように研究開発を進めてきた。Boz、Garcia、そしてSoleioは、ビデオの扱いも写真と同じようにシンプルにすることを目指して研究をすすめてきたのだろう。特許の成果がInstagramで結実すれば、投稿ビデオの世界に新たな地平が生まれることにもなるかもしれない。投稿される写真にも面白いものが増え、友人たちの撮影したビデオを閲覧する機会も増えることになるだろう。

原文へ

(翻訳:Maeda, H)


プロのVine使い、Instagramビデオを使う

Vine vs Instagramビデオの議論に関して、私はもう言いたいことを言ったが、果たして他のユーザーはどう考えているのだろうか?

InstagramとVineのユーザー、Meagan Cignoliが、同じストップアニメーション・ビデオをVineとInstagramに投稿し、どちらが良いかフォロワーに聞いた。彼女は両プラットフォームのパワーユーザーで、Instagramには1万人、Vineには20万人近いフォロワーがいる。

そして圧倒的な総意は? Vineだった。

何百ものコメント中。唯ひとりだけがInstagramを選んだ。

これがVine。

これがInstagramビデオへのリンク[Instagramは埋め込みができない]

見ての通り、Instagramビデオの方がややきめが粗く、Vineよりズームインしている。Cignoliの説明によると、この種のストップアニメーションでは、InstagramビデオのCinema機能を使う必要がある。Instagramでビデオを撮ると、アプリの手ぶれ補正機能が自動で働き、プレビューはややズームインして見える。

この機能はビデオ撮影後にオフにして、高画質ビデオを得ることが可能だが、そうするとフレーム外にあるもの、Cignoli言うところの「セットのリアリティー」を見せずにストップアニメーションを作ることが不可能になる。

この違いを除くと、2つのビデオは全く変わらない。Cignoliによると、彼女は両方のビデオで同じiPhone 5、全く同じ三脚を使い、録画ボタンを押した回数も全く同じだった。そしてその結果は、圧倒的多数がVineを支持した。

もちろん、これは科学でもなんでもない。Meagonのミニ選挙でこの謎が解けることはない。

彼女はプロのフォトグラファーで、現在Vineをフルタイムの仕事として、Loewsなどのブランド向けにビデオ広告を撮っている。

新しいクライアントを獲得するために、写真をFacebookとTwitterに掲載し始めたが、Instagramにはなかなか参加しなかった。「携帯電話では写真を撮りたくなかった。私はフォトグラファーだから!」と彼女は言った。

しかし結局降参した。「Instagramに入ったのは遅かったので、ポピュラー入りは難しく、全く牽引力を得られなかった」と彼女は言った。「Vineには早くからいたので、ポピュラーページにも早く入って多くのフォロワーを獲得できた」。

それ以来、Vineにフルタイムで集中し、12~15のブランドと仕事をしている。

InstagramでMeaganをフォロワーすることは、Vine使い集団よりもカルト的であり、投票結果を正確性は必ずしも信用できない。どちらのストップアニメーションが良いかは読者自身で決めていただきたい。

Meaganにとっては、あらゆる点でVineだ。だからといってInstagramを楽しんでいないわけではない。「InstagramのビデオはInstagramの写真みたいに見えるところが好き」と彼女は言う。「だから私はフィルターを使う、それがInstagramのウリだから。使うのはそのためでしょう。どちらのサービスも最高の形で人に見せたいと思っている」

警告:MeaganのVineストリームを見ていると時間を忘れる。夢中になる覚悟で。

[原文へ]

(翻訳:Nob Takahashi)


ビデオ投入でInstagram上でのエクスペリエンスは悪化。ぜひとも選択的ストリームの導入を!

先日の記事はご覧になっただろうか。Instagramには1億3000万もの利用者がいるのだそうだ。

Instagramは、その利用者を失おうとしているのではなかろうか。Instagram Videoの導入は、映画「プリティ・ウーマン」風に言って逃した魚は大きいという結末に繋がりそうな気もしている。

Instagramというのは、他のどのソーシャルネットワークと比較しても「消費」傾向の強いサービスだ。「写真を撮る」ためのサービスだと思っている人も多いだろうが、「撮る」人よりも、それを「見る」人の方がはるかに多い。

利用者がどの程度の割合で写真を撮り、そしてどのくらいの人が写真を見ているのかという、正確な統計データが公表されたことはない。先日リリースされたデータから、その割合を伺うことができる。これまでに登録された写真の数は60億枚だとのことだった。サービスを開始して3年少々に過ぎないことも考えれば、これは相当に大きな数字だということができる。

しかし、Instagramは既に1億3000万の月間アクティブユーザーを抱えるサービスでもある。これらの利用者の中には数百枚ないし数千枚の写真を公開した人もいるだろう。一方で数枚程度しか公開していない人もいて、個人ごとにばらつきがあるのは当然の話だ。それは理解しつつも強引に平均をとってみると、利用者毎の平均投稿写真数は46枚ということになる。

但し、Instagramのアナウンスによれば、写真に対して付される「いいね」の数は1日あたり10億件にものぼるそうだ。これを利用者当たりの数字になおすと、月間230回「いいね」を付けていることになる。

先にも書いたように、数千枚の写真を投稿する人もいれば、ごくわずかしか投稿しない人もいる。昔からInstagramを使っている人もいれば、つい最近になって使い始めたという人もいるだろう。目にする写真のすべてに「いいね」を付けている人もいれば、なかなか「いいね」しない人もいるだろう。しかしいずれにせよ、投稿する写真の枚数よりも、閲覧ないし「いいね」する枚数の方が遥かに多いことは間違いない。

そして、これこそInstagram利用方法の本道であると思うのだ。すなわち、いろいろと写真を見て回って、気に入れば「いいね」をクリックしてみるというスタイルだ。そういう楽しさこそ、多くの人がInstagramに求めているものだと思うのだ。日々の中で、ちょっとした時間に味わう幸せのひとときといった具合だ。新機能の導入は、多くの人の楽しみを奪い去ってしまうことになったと思う。

サービスを開始して3年、内部にはビデオをやりたいという声もあったようだが、写真に専念してやってきた。

そもそもInstagramは、モバイルフォンの低機能カメラで撮影した無様な写真をなるべく綺麗な見せかけでシェアしてみようというものだった。そして大ヒットとなった。以来、モバイルカメラの性能も向上し、そして撮影が一般的となって、撮影者の技術も向上していった。そこに見えてきたのが「ビデオ」という新しいフロンティアだ。

Instagramとしては、写真のケースと同様に、市場がホットなうちに参入を果たしたいという考えだ。ロークオリティなビデオにエフェクトや手ブレ防止を施して、簡単に共有できるようにしようというわけだ。大ヒット間違いなしと考える人もいる。

しかしここで改めて考えて欲しいのが、Instagramは作成ツールとして人気を集めているわけではないということだ。フィルタで加工したり、おしゃれなスタンプをつけて公開できる写真共有サービスはたくさんある。しかしそのいずれも1億3000万もの利用者を獲得してはいないのだ。大量の写真がストリームに流れてくることもない。Camera+やLineを使って写真の加工を行うことができる。しかしInstagramと同じような楽しさを感じることができるだろうか。できないと応える人が多いと思う。

Instagramには、写真を閲覧していくときにこそ感じる大いなる楽しみがあった。しかし今回のビデオ機能の追加により、自らの魅力を大いに減じてしまうことになるのではないかと思うのだ。

魅力を減じてしまうだろうと考える理由のうち、いくつかは対処可能なものだ。たとえば組み込まれてしまったバグなどはなくすこともできる。たとえば、ネットワークの状態がよくないときにInstagramにVideo(たとえばVinstagramなんて呼び方はどうだろう?)があると、読み込む前にスクロールしていくことになるだろう。しかしそのようなとき、ビデオの読み込みが完了すると、そのビデオが既に画面上に表示されていないにも関わらず、音声付きで再生されてしまうのだ。

そうした問題がないにしても、しかし動画がより大きなデータ量を必要とすることには違いない。確かに現在は、多くの人のAndroidないしiOSデバイスはLTE接続を利用していることだろう。しかしもっと遅い速度でネットワークに繋いでいる人もいる。また、どうにも速度の遅いWiFi環境を利用する場合もある。常に快適な通信環境を利用できる保証など、どこにもないのだ。

これまでのInstagramなら、表示するのが写真だけに限られていたために、ネットワーク環境が問題になることも少なかった。

公衆回線もWiFiも、ともに利用できない状況でもない限り、ストリームに流れる写真を眺めて楽しむことができた。ときにアップロード出来ないことはあったかもしれないが、それでも「いいね」をクリックするようなことまでできなくなるということはなかった。

しかしビデオ機能導入により、閲覧して楽しむのにも時間がかかるようになってしまった。個人的にはLTE環境でiPhone 5を使っているが、それでも時間がかかりすぎるようなことが何度もあった。そのような場合、場所を変えてネットワークの様子を見るとか、あるいはWiFiに切り替えるというようなことをしたりはしない。単純にInstagramを終了してしまう。

Instagramは写真の投稿も閲覧も簡単に行えることがウリのひとつだったはずだ。しかしVinstagramになって、少々ハードルが上がってしまったように思う。

問題はネットワーク接続絡みのもののみではない。コンテンツについても問題だ。言うまでもないことだが、Instagramに投稿される写真の全てが美しい、面白い、興味深いものであるわけはない。しかしトリミングやフィルタのおかげで、まずまず見られるものに仕上がっていることが多い。

また、写真というのは慣れてくればそこそこに撮れるようになることもある。根気強く狙えば、まさにベストと言える瞬間をカメラに収めることができたりもする。最初はうまく撮れなくても、何度か撮ってみるうちに、なかなかのものが撮れることがある。そんなときには、うまく撮れたものだけを公開すれば良いわけだ。

しかしビデオとなるとそうもいかない。最大で15秒もの間、魅力的なシーンを映しださなければならないのだ。確かにInstagramにはCinemaと呼ばれる仕組みが有り、手振れを補正してはくれる。また13種類のフィルタも搭載されている。しかしそれでも「どうしようもない」レベルのビデオになってしまいがちだ。

Instagramの投稿者たちが、人の注目しそうなものではなく、つまらないものばかり撮っているにしても平気だ。つまらない食事、コーヒー、ビール、ペット、飛行機の窓からの風景、ときには自分の足ばかり写している人もいる。そうした写真や、道端の鳩などの写真が表示されれば、どんどんスクロールしていけば良いのだ。ただ、隅の方にビデオであることを示すアイコンが表示されると、つい待ってみたくなるのが人情だと思う。何か面白いVinstagramが表示されるのではないかと期待してしまうのだ。

しかしその期待が満たされることはほとんどない。

人々は新しいInstavids(こんな呼び方も良いかもしれない)の魅力を引き出そうといろいろと試してみているところだ。それで今のところはつまらないものばかりが流れているということもできよう。かくいう自分自身もつまらない動画を流している。これまでに2本の動画を流したが、今は後悔している。申し訳なかった。

おそらくは練習を重ねて、上手なビデオを撮ることができる人も増えてくるのだろう。これまで同様に食べ物撮りを練習して、そこそこのクオリティのものが流れてくることになるのだろうと思う。

しかしもしそうなっても、個人的にはInstagramを起動するのに躊躇ってしまうようになると思うのだ。無駄な時間がかかってしまうことになるからだ。

Instagramはそもそも時間を消費するアプリケーションだ。開いてみるのはレストランでオーダーが届くのを待っている時間だったり、トイレでしゃがんでいるときだったり、あるいはちょっとした休憩時間であることが多い。ここに読み込みにも閲覧にも時間のかかるビデオがやってきたわけだ。15秒などさほど長い時間ではなかろうという人もいるだろう。しかし写真を見るのには0.5秒もかからない。いろいろな意味で長い時間を必要とするようになり、Instagramはもはや「隙間時間」に利用できるアプリケーションではなくなってしまった感じだ。

覚悟を持って時間をつぎ込むアプリケーションになってしまったと思うのだ。

Instagram Videoが全く下らないというつもりはない。TwitterのVineも非常な人気を集めている。Facebookは、ソーシャル部門で人後に落ちるつもりはないようで、今や「ソーシャル」にビデオも含まれる状況とはなっている。したがって、Vineの人気をみたからにせよ、あるいは以前から計画していたからにせよ、ビデオサービスを始めること自体は良いと思うのだ。

但し、Instagramには1億3000万もの利用者がいる。しかしうまくいっているものに手を加えるなという言葉もある。Instagramの提供するエクスペリエンスに手を入れてしまうのは非常にリスキーなことだと思う。ただ、対処のしようはある。

たとえば、勝手に名付けているだけだが「フィルターストリーム」を導入してはどうだろう。ストリームに流れてくるものを、写真だけ、Vinstagramだけ、あるいは両方というように設定できるようにするのだ。世の中にはDivvyのように写真関係のストリームをアグリゲートするアプリケーションがある。自分が見たいフィードを自分自身で選ぶことができるものだ。Instagram自身が、そうした仕組みを導入して悪いわけがない。

そうした仕組みが導入されるまで、少なくとも個人的にはInstagramの閲覧頻度を下げることになるだろう。これまでInstagram上で交流してきたみなさん。こちらからの「いいね」が減っても気を悪くしないようにお願いしたい。

原文へ

(翻訳:Maeda, H)


どこがどう違う?―InstagramビデオとTwitterのVineを詳細比較

Instagramは先ほどのプレスイベントで15秒のビデオ機能を発表した。 Instagramお得意のフィルターに加えてアプリにはイメージ・スタビライザーを内蔵しており、ある程度の編集も可能だ

これはTwitterのVineにどんな影響を与えるだろう? 両者の違いは? 2つのプラットフォームを詳しく比較してみよう。

撮影

まず長さが違う。

Vineのビデオは最長6.5秒だ。TwitterとVineの開発チームはこの長さに決定するまでに多大な調査研究を行ったという。ビデオの制作者はこの短いビデオで一つのストーリーを作るためにクリエーティブに考えることを要求される。いかにもTwitterらしいアプローチだ。これに対してInstagramビデオは15秒だ。Vineに比べて2倍以上長く、制作者にとってはだいぶ余裕がある。

Instagramは編集できる。

どちらのプラットフォームも個別のクリップを複数つないでいくことができる。しかしInstagramビデオの場合は、最後に撮影したクリップを削除することができる。ただし最後から2番目のクリップを削除したいと思ったら、まず最後のクリップを削除しなければならない。つまりユーザーはその時点で最後に最後に撮影したクリップだけを削除できる。

これに対してVineは全体を削除してやり直す以外、まったく編集できない。 しかしVine側では最近、複数の作品候補を作れるようになると予告しているので、Vineももう少し自由度が増すようだ。

VineもInstagramも既存のビデオのインポートはできない。あくまでアプリ内で撮影することが要求される。ただし両者とも撮影されたビデオはただちにカメラ・ロールに保存される、後日の利用が可能だ。どちらのプラットフォームも自由にフロント・カメラへ切り替えることができる。

Instagramはフィルターを内蔵している。ビデオと写真で共通に利用できる新しいフィルターが13種類追加された。Vineにはフィルターはなく、近い将来提供される可能性も低いだろう。

プレスイベントで会場から驚きの声が上がったのが Instagramビデオ・アプリの画像安定化機能だった。ソフトウェア方式の画像スタビライザーで、 画面の揺れを相殺する方向に画面をトリミングするため画質は多少犠牲になる。しかしInstagramが想定するカジュアルな利用法からすればほとんど問題にならないだろう。今のところVineにはこのような機能は知られていない。

共有

制作されたビデオの共有オプションではInstagramの方がVineよりやや範囲が広い。Vineの共有先はFacebookとTwitterのみだが、InstagramビデオはFacebook、Twitter、Tumblr、Flickr、foursquareに投稿でき、メールでも共有できる。〔Vineビデオにはサードパーティーサイトへのエンベッド機能があるが、Instagramビデオにはない。〕

どちらのプラットフォームでも制作者は位置情報を含めることができる。ただしInstagramには「フォトマップ」機能があり、ユーザーが地図からビデオを選ぶことができる。

再生

ビデオも写真と同様に正方形なのでInstagramのストリームの見た目は基本的に変わらない。どちらのプラットフォームもビデオは自動再生される。ただしInstagramの場合は再生開始までに2秒のバッファリング時間がある。Vineの方が再生開始は早い。

もう一つ大きな違いは、Vineのビデオは自動的にループするが、Instagramビデオは再生後停止する。Vineのビデオの見た目はGIFに近い。Instagramのビデオはもっと伝統的なビデオ・クリップに近いようだ。

さて?

この2つのプラットフォームの市場での競争の結果がどうなるか注目だ。いずれにせよ、Vineに加えて今度はInstagramのビデオがインターネットに大量に溢れることになる。大きなカップにポップコーンを用意して楽しもう。

[原文へ]

(翻訳:滑川海彦 Facebook Google+