プレスリリース
- 研究
- 2021
コンピュータビジョン技術を用いた シンクロダンス練習支援システムSyncUpの研究成果発表
１．発表者：
矢谷 浩司（東京大学 大学院工学系研究科電気系工学専攻 准教授）
２. 発表のポイント：
◆東京大学工学系研究科電気系工学専攻に所属するZhongyi Zhou（博士課程学生）、Anran Xu（修士課程学生）、および矢谷浩司（准教授）は、コンピュータビジョン技術を応用することにより、シンクロダンスの練習を支援するSyncUpというシステムを構築しました。
◆このSyncUpでは、撮影されたシンクロダンスの練習動画をアップロードすると、ダンサー同士のポーズの類似性のみならず、動きの同期性をコンピュータビジョン技術で定量的に評価し、グラフや動画上のオーバーレイとしてポーズや動きのタイミングのズレを可視化します。実験の結果、SyncUpの認識結果がダンサーの評価と概ね一致することを確認した他練習の効率的な支援のみならず、ダンサー間でのコミュニケーションを円滑するなどの肯定的な効果が期待できることを明らかにました。
◆アイドルやアニメキャラクターのグループが同時にダンスをするシンクロダンスは、SNS などにおいてアマチュアのダンサーから大きな注目を集めています。SyncUpはそのようなダンサーの練習を支援するシステムであり、スマートフォン等で撮影された動画でシンクロダンスの分析を可能としています。SyncUpは人々の芸術的表現を支援する人工知能技術の新しい応用を示すものです。
３. 発表概要：
アイドルやアニメキャラクターのグループが同時にダンスをするシンクロダンスは、SNSなどにおいてアマチュアのダンサーから大きな注目を集めています。この注目の高まりにより、シンクロダンスの練習を効率的に支援するシステムが求められていますが、アマチュアのダンサーにとっては練習のために特別な機器を準備することは難しいものです。また、シンクロダンスではすべてのダンサーが必ずしも同じポーズを取るとは限らず、ポーズや動きは違っていても、動きのタイミングが同じであるために、美しい同期性を生み出すこともあります。このため、単純なポーズ認識ではダンサーに対する十分な支援ができませんでした。
東京大学工学系研究科電気系工学専攻に所属するZhongyi Zhou（博士課程学生）、Anran Xu（修士課程学生）、および矢谷浩司（准教授）は、コンピュータビジョン技術を応用することにより、スマートフォン等で撮影された動画を用いてシンクロダンスの練習を支援するSyncUpというシステムを構築しました。このSyncUpでは、ダンサー同士のポーズの類似性のみならず、動きの同期性をコンピュータビジョン技術で定量的に評価し、グラフや動画上のオーバーレイとしてポーズや動きのタイミングのズレを可視化します。評価実験ではSyncUpの認識結果がダンサーの評価と概ね一致することを確認した他、練習の効率的な支援のみならず、ダンサー間でのコミュニケーションを円滑にするなどの肯定的な効果が期待できることを明らかにしました。
４. 発表内容：
東京大学工学系研究科電気系工学専攻に所属するZhongyi Zhou（博士課程学生）、Anran Xu（修士課程学生）、および矢谷浩司（准教授）は、コンピュータビジョン技術を応用することにより、シンクロダンスの練習を支援するSyncUpというシステムを構築し、ダンサーがダンスの同期性の低い部分にすぐにアクセスすることを可能とすることで、ダンス練習を効率的に支援することを目指しました。アイドルやアニメキャラクターのグループが同時にダンスをするシンクロダンスは、SNSなどにおいてアマチュアのダンサーから大きな注目を集めており、アマチュアのダンサーでも使用できる練習を効率的に支援するシステムが求められていました。
SyncUpでは、複数人のダンサーの動きを認識し、そのポーズの類似性のみならず、動きのタイミングのズレの定量的な分析を可能としました。コンピュータビジョン技術により抽出されたスケルトンデータをもとに体の各部位の相対的な位置の差異を定量的に検出することで、ダンサー間のポーズの類似性を推定しています。さらに、シンクロダンスではすべてのダンサーが必ずしも同じポーズを取るとは限らず、ポーズや動きは違っていても、動きのタイミングが同じであるために、美しい同期性を生み出すこともあります。このため、SyncUpでは，各ダンサーがどのタイミングで体の部位を動かしているかを定量的に推定するアルゴリズムを実装しました．これにより各ダンサーの姿勢の変化から動きのタイミングを検出することができ、ダンサー間の動きのタイミングのズレを検出することを可能としました。SyncUpでは、これらの分析に必要なデータがスマートフォン等で撮影された動画であり、特別なセンサーや機器を必要としない利点があります。したがって、SyncUpアマチュアのダンサーでも気軽に利用できるシステムとなっています。
さらにその分析結果を、ユーザに対してグラフにて表示する他、動画内のダンサー上に提示されるオーバーレイにより、ポーズのズレが大きい体の部位を可視化します。これにより、ダンサーはダンスの同期性が低いパートに効率的にアクセスすることができ、重点的に不得意とするパートを練習できるようにするなど，シンクロダンスの練習を効率的に支援します。システム評価においては実際にシンクロダンスを行なっているユーザによるポーズや動きのタイミングのズレの評価と、SyncUpによる認識結果を比較し、ダンサー自身がおこなった主観的評価と概ね一致することを確認しました。また、ユーザ実験の結果からは、練習の効率的な支援のみならず、ダンサー間でのコミュニケーションを円滑にするなどの肯定的な効果が期待できることを確認しました。さらには、SyncUpの技術を応用することにより、上手にダンスできている部分のみを自動的に抽出し、SNS等で公開するためのハイライト動画を生成するなどの新しい応用方法の可能性も確認されました。
本研究成果はIoT、ユビキタスコンピューティングの研究における最高峰の国際論文誌であるProceedings of the ACM on Interactive, Mobile, Wearable, and Ubiquitous Technologyに採択され、2021年9月21日に掲載されました。また、同分野において影響力のある国際会議であるACM international joint conference on pervasive and ubiquitous computing (UbiComp 2021、2021年9月オンライン開催)において口頭発表されました。
東京大学矢谷研究室（インタラクティブ・インテリジェント・システム ラボラトリー、IIS Lab、https//iis-lab.org）では、同ラボに所属する研究者が設計、実装、評価する知的なインタラクティブシステムによって、人々の知的活動・健康的生活を支援し、人々のQOL(quality of life)を向上させることをミッションとしています。今回の研究成果であるSyncUpのように、今後も人工知能技術や自動認識技術の新しい利活用方法を実現し、対象となるユーザとともにその効果を検証する研究を行ってまいります。また、本研究の一部は、国立情報学研究所ロバストインテリジェンス・ソーシャルテクノロジー研究センター（http://research.nii.ac.jp/CRIS/）との共同研究により支援されました。
５. 発表雑誌：
雑誌名：Proceedings of the ACM on Interactive, Mobile, Wearable, and Ubiquitous Technology, 2021年9月21日掲載済み
論文タイトル：SyncUp: Vision-based Practice Support for Synchronized Dancing
著者：Zhongyi Zhou*, Anran Xu, Koji Yatani
DOI番号：10.1145/3478120
論文URL：https://dl.acm.org/doi/abs/10.1145/3478120
６. 添付資料：
図1. SyncUpインタフェース全体図。画面上部左にダンス動画、上部右はポーズのズレを可視化する動画上にオーバーレイを示している。この例では、左腕がダンサー間で大きくずれているため、赤色のオーバーレイが表示されている。また、画面下部にはポーズと動きのタイミングのズレをグラフで示したものがユーザに提示されている。
図2。 オーバーレイの例。ポーズのズレの大きさに応じて色が変化するようになっている。赤色に近い色ほど、ズレが大きいことを示す。
プレスリリース本文：PDFファイル
Proceedings of the ACM on Interactive, Mobile, Wearable, and Ubiquitous Technology：https://dl.acm.org/doi/abs/10.1145/3478120