SyncUpインターフェース全体図。画面上部左にダンス動画、上部右はポーズのズレを可視化する動画上にオーバーレイを示している。掲載写真の例では、左腕がダンサー間で大きくずれているため、赤色のオーバーレイが表示されている。また画面下部では、ポーズと動きのタイミングのズレをグラフで示したものがユーザーに提示している
東京大学大学院工学系研究科の矢谷浩司准教授、周中一（ジョウ・ツォンガイ。Zhongyi Zhou）氏、徐安然（ズ・アンラン。Anran Xu）氏は9月28日、コンピュータービジョン技術を応用したシンクロダンスのポーズのズレを可視化する練習支援システム「SyncUp」（シンクアップ）の構築を発表した（SyncUp: Vision-based Practice Support for Synchronized Dancing）。
SyncUpは、コンピュータービジョン技術により抽出されたスケルトンデータをもとに、体の各部位の相対的な位置の差異を定量的に検出することで、ダンサー間のポーズの類似性を推定する。またシンクロダンスでは、常に全員が同じ動きをするとは限らない。その場合はどれだけ同期性が高いかシンクロ感が出る。そこで、各ダンサーがどのタイミングで体の部位を動かしているかも定量的に推定するアルゴリズムを実装しているという。つまり、体の動きとタイミングの両方の差異がわかる。
特別な機器は必要とせず、ダンスの練習動画をアップロードするだけで使えるため、アマチュアのダンサーにも気軽に利用できるとのことだ。タイミングや動きのズレは、グラフ化されると同時に、実際の動画の上にオーバーレイとしてズレている体の部位やズレの程度が示される。
オーバーレイの例。ポーズのズレの大きさに応じて色が変化する。赤色に近い色ほど、ズレが大きいことを示す
実験を行った結果、SyncUpの認識結果がダンサーの主観的な評価とおおむね一致したとのこと。練習の効率が上がるほか、ダンサー同士のコミュニケーションが円滑になるという。また実験では、この技術を応用して、うまく踊れた部分だけを自動抽出し、ハイライト動画を生成してSNSなどで公開する方法の可能性も確認された。
同研究科では、SyncUpを「人々の芸術的表現を支援する人工知能技術の新しい応用を示すもの」としている。
