東工大、0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システム「FuturePose」発表

東京工業大学による研究チームは、0.5秒後の相手の動きをリアルタイムに予測し格闘の訓練ができるdeep learningを用いたシステム「FuturePose」を発表しました。

論文：FuturePose – Mixed Reality Martial Arts Training Using Real-Time 3D Human Pose Forecasting With a RGB Camera
https://ieeexplore.ieee.org/abstract/document/8658594

https://shiropen.com/wp-content/uploads/2019/03/gif-1-3.gif
本論文は、1台のRGBカメラによる画像から0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システムを提案します。本提案は、RGB画像の入力から相手の未来の姿勢を推定し提示することで格闘を訓練するシステムです。

具体的には、最初にResidual Networkを用いてRGB画像から相手の2D関節位置を推定します。続けて、推定した2D関節位置をLSTMネットワークの入力として時間的特徴を学習するために使用し、未来の2D関節位置を予測します。正確な動き予測を得るためにオプティカルフローを使用、中でも計算コストを下げるためにlattice オプティカルフローを使用します。
https://shiropen.com/wp-content/uploads/2019/03/unnamed.png

最後に、予測した2D関節位置を可視化するために3Ｄスケルトンモデルを構築しユーザに提示します。

続きはソースで

FuturePose https://youtu.be/W6JqYF2e7HM

https://shiropen.com/seamless/futurepose