ヒューマンデジタルツイン作成を完全自動化：ビデオモーキャップから運動解析・筋活動解析・データベースまでをクラウド計算

１．発表者：
中村仁彦（東京大学大学院工学系研究科 人工物工学研究センター 社会連携講座
　　　　「ヒューマンモーション・データサイエンス」上席研究員）
池上洋介（東京大学大学院情報理工学系研究科 知能機械情報学専攻 助教）
HERNANDEZ Cesar（東京大学大学院工学系研究科 人工物工学研究センター 特任研究員）
櫻井彬光（東京大学大学院情報理工学系研究科 知能機械情報学専攻 博士課程1年）

２．発表のポイント:
◆複数カメラのビデオ映像からポーズの３次元再構成[1]、運動解析[2]、筋活動解析[3] までの計算を一気通貫に実現した。計算終了後、時系列データベースシステム[4] を用いて計算結果を直ちにデータベース化する。映像の取得から運動・筋活動解析、データベース化までの全自動化は世界初。
◆グラフと動画の２種類の可視化が可能になった。一つは、データベース可視化システムを用いた運動・筋活動のグラフである。もう一つは、骨格運動と筋活動の計算結果を、クロスプラットフォームに対応したゲームエンジンを用いた専用アプリで、３次元動画として見ることができる。
◆上記をAWS[5] のクラウド上に構築し一貫したサービスとして提供が可能になった。東大発スタートアップでの商用実施を目指す。

３．発表概要：
東京大学大学院工学系研究科人工物工学研究センター 社会連携講座「ヒューマンモーション・データサイエンス」の中村仁彦 上席研究員とHERNANDEZ Cesar 特任研究員、大学院情報理工学系研究科 知能機械情報学専攻の池上洋介 助教と櫻井彬光 博士課程学生らのグループは、ビデオ画像から人間の運動を計測・解析し、直ちにデータベースに投入し可視化を行うまでをクラウド計算機上に完全自動化した。これによってカメラを設置するだけで人手をかけずにヒューマンデジタルツインの蓄積が可能になった。スポーツ、介護、医療などにおける運動データのビッグデータ化の準備が整った。今後は、東大発スタートアップでの商用実施を目指す。

４．発表内容：
＜背景＞
モーションキャプチャから得られた骨格の運動を元に逆動力学計算[6] によって関節に働く力や筋活動を推定する技術を2005年に発表し特許出願、その後特許を取得した。これまでに筋張力推定を行う高効率最適化法の開発や、骨格のスケーリング法[7] の開発、筋骨格モデルの精緻化を行なってきた。この間、この技術によって多くのアスリートの運動解析に関わることができた。2018年には複数カメラのビデオ映像から２次元画像上のポーズ推定を総合して３次元骨格運動の再構成や筋活動解析を行う技術を発表し、特許出願した。モーションキャプチャにおいてマーカを身体に取り付ける準備時間を不要にし、モーションキャプチャを効率化した。しかしながら、ビデオ映像の入力から筋活動の出力までは多くのアルゴリズムが繋がっており、それぞれに計算が失敗したり精度が低下したりする瞬間があり、その都度人手による例外処理が必要であった。運動解析の生産性は人手による作業によって制限されるため、依然として特定のアスリートの運動解析に使うことができる技術にとどまっていた。

＜主な成果＞
（１）最も重要な成果は、ビデオ映像の入力から筋活動出力までを一気通貫で完全自動化したことである。これには３次元再構成の信頼性の向上、各アルゴリズムで用いるモデルやライブラリーの統一、骨格のスケーリングの自動化などを解決する必要があった。この全体の計算をパッケージ化してAWS上に実装できた。
（２）次に、運動解析、筋活動解析の結果を直ちに、AWS上に立てた時系列データベースシステム Prometheus[8] のサーバーに送ってデータベース化し、これによって計算直後のデータ検索を可能にした。
（３）また、データベースにデータベース可視化システム Grafana[9] を連動させることで、計算直後に検索によってグラフ表示して運動を可視化できるようになった。
（４）以上の全体がAWS上に実装されており、ビデを映像からデータベース化、グラフ表示までをノンストップで人手を介さない完全自動のサービスとして実現した。
（５）さらに、骨格運動と筋活動を３次元データとして出力。ゲームエンジンUnity[10] を用いた専用アプリで直ちに３次元表示することに成功した。これによりPCや携帯端末やHMD[11] などクロスプラットフォームで解析結果を見ることが可能になる。

＜展望＞
青少年スポーツ選手、競技スポーツの選手からスポーツ愛好家、リハビリや健康ために運動を行う高齢者まで、広い世代の多くの方々に運動解析や筋活動解析を使ってもらえるようになった。また、アバターやロボットの全身運動のデータ取得にも使うことができる。ビデオ映像の入力から運動解析、筋活動解析、データベース化、可視化までの全自動化は世界初。今後は、チーム競技のデジタイズとチームプレイの解析、計算の効率化・高速化、スポーツ・データサイエンティストの養成などの研究に取り組み、並行して東大発スタートアップでの商用実施を目指す。

５．開発者：
中村 仁彦（東京大学大学院工学系研究科 上席研究員）　
池上 洋介（東京大学大学院情報理工学系研究科 助教）　
Hernandez, Cesar（東京大学大学院工学系研究科 特任研究員）　
櫻井 彬光（東京大学大学院情報理工学系研究科 博士課程 1年）
Nikolić, Milutin  （東京大学大学院工学系研究科 元 学術支援職員／
　　　　　　　　　現 University of Novi Sad セルビア 准教授)
大桶 夏津 （東京大学大学院情報理工学系研究科 修士課程 2年）　
山本 　江（東京大学大学院情報理工学系研究科 准教授）              

６．研究経費：本研究成果は以下の支援を受けた研究によるものです。
（１）社会連携講座「ヒューマンモーション・データサイエンス」
　　　研究代表者：淺間　一（東京大学大学院工学系研究科　教授）
　　　研究期間：2020年6月～2023年5月
　　　旭化成株式会社
　　　株式会社ナックイメージテクノロジー
　　　株式会社Xenoma
　　　株式会社大武・ルート工業
　　　株式会社ユーフォリア
（２）科学研究費補助金　基盤研究(A)「パーソナル・デジタルツインの獲得・記述・認証」
　　　研究代表者：中村仁彦（東京大学大学院工学系研究科　上席研究員）
　　　研究期間：2020年4月～2023年3月　(20H00599) 　
（３）2018-2022年度 内閣府総合科学技術・イノベーション会議「SIP/ビッグデータ・AIを活用したサイバー空間基盤技術」（管理法人：国立研究開発法人新エネルギー・産業技術総合開発機構）

７．用語解説：
[1]３次元再構成
ここでは複数台の同期カメラから得られた複数枚の２次元画像から３次元の骨格の姿勢を計算すること。はじめに、深層学習を行ったニューラルネットワークが各画像において関節の候補点を信頼度と共に見つけてくる。それらを同期した全ての画像について統合して３次元の骨格の姿勢を計算する。
[2] 運動解析
時間と共に変化する関節の位置や角度、すなわち骨格の姿勢の変化の時系列情報（位置・角度、およびそれらの速度と加速度）を求めること。これらに基づいて運動の特徴を見つけることまでが運動解析である。
[3] 筋活動解析
運動解析の結果を用いて、各骨の質量分布の情報を使って逆動力学計算を行うことで、各骨や各関節に働く力・モーメントを計算することができる。次に、それらに整合する筋張力を最適化計算によって計算する。筋張力を最大筋張力が１になるように正規化して筋活動度が求められる。これらに基づいて運動時の筋の活動の特徴を見つけることまでが筋活動解析である。
[4] 時系列データベースシステム
SQLに代表されるリレーショナルデータベース、その後に現れた大規模データやリアルタイムデータ様に使われるNoSQL系データベースなどに対して、msec単位の周期タイムスタンプを持つ大量のリアルタイムデータ扱うことに特化した時系列データベースシステムが注目されている。
[5] AWS　https://aws.amazon.com/jp/
Amazon Web Services（アマゾン ウェブ サービス、略称：AWS）とは、Amazon.comにより提供されているクラウドコンピューティングサービスである。ウェブサービスと称しているが、ウェブサービスに限らない多種多様なインフラストラクチャーサービスを提供している。これらのサービスは全世界で22の地理的リージョンで提供されていて（2019年9月現在、利用に制約のあるリージョンを含む）、サービスを組み合わせることでユーザーが求めるITインフラが構築できるようになっている。
（https://ja.wikipedia.org/wiki/Amazon_Web_Services　より。）
[6] 逆動力学計算
ロボティクスの計算アルゴリズムに関して使われる用語である。力やモーメントが加えられた時に、それらを入力として（関節の角度やボディーの位置、それらの速度も用いられる）関節やボディーの加速度を計算することを順動力学と呼ぶ。その反対に、関節やボディーの加速度を入力として（関節の角度やボディーの位置、それらの速度も用いられる）、ロボットに加えられた力やモーメントを計算するのが逆動力学計算である。
[7] 骨格のスケーリング
計算に用いる骨格モデルは各骨の寸法の標準値を持っている。３次元再構成した骨格の姿勢データから各骨の寸法を被験者に合わせて調整することを骨格のスケーリングと呼んでいる。
[8] Prometheus　https://prometheus.io/
Prometheus（プロメテウス）は高次元システムのリアルタイム・モニタリングやアラート発出に用いられるオープンソフトウェア。時系列データをメトリックスとするデータベースを作り、クエリー言語で検索できる。
[9] Grafana　https://grafana.com/
Grafana（グラファナ）は、分析およびインタラクティブな視覚化を可能にする、マルチプラットフォームで動作するオープンソースのWebアプリケーション。サポートされているデータソースに接続することで、Webブラウザ上でチャート、グラフ、アラートの機能を提供する。
（https://ja.wikipedia.org/wiki/Grafana　より。）
[10] Unity　https://unity.com/ja
Unity（Unity3D）は、Unity Technologies（日本法人はユニティ・テクノロジーズ・ジャパン株式会社[5]）が開発・販売している、IDEを内蔵するゲームエンジンである。主にC#を用いたプログラミングでコンテンツの開発が可能である。PC（Windows、macOS）だけでなくモバイル（iOS、Android）やウェブブラウザ（WebGL）、家庭用ゲーム機（PlayStation 4、Xbox One、Nintendo Switch等）といったクロスプラットフォームに対応しており、VR/AR/MR機器向けのコンテンツ開発にも対応している。
（https://ja.wikipedia.org/wiki/Unity_(ゲームエンジン)　より。）
[11] HMD（ヘッドマウントディスプレイ）
ヘッドマウントディスプレイ（英語: Head Mounted Display、略称: HMD、頭部装着ディスプレイ。英語の綴りから分かるように、正確にはヘッドマウンテッドディスプレイである）は、頭部に装着するディスプレイ装置のことである。両眼・単眼に大別され、目を完全に覆う「非透過型」や「透過型」といったタイプがある。3D/2Dにも分類できる。
（https://ja.wikipedia.org/wiki/ヘッドマウントディスプレイ　より。）

８．添付資料：

【写真１】ビデオモーションキャプチャ（カメラ４台@120FPS）

【写真２】骨格運動と筋活動の３次元データのUnityによる可視化

【写真３】運動解析データのGrafanaによるグラフ可視化

ヒューマンデジタルツイン作成を一気通貫に完全自動化 
【図１】ビデオ映像の入力から筋活動出力までをクラウド化により一気通貫で完全自動化

プレスリリース本文：PDFファイル