姿勢推定 / 骨格推定 / Pose Estimation
※追記ご自由に!
Pose Estimationとは
https://google.github.io/mediapipe/images/mobile/pose_tracking_example.gif
※gifはMediaPipe Poseより。
主に人間の関節の位置(座標)を推定する仕組み。映像よりはスポーツ&医療分野やゲーム、展示のようなインタラクティブなコンテンツに使われていることが多い(気がする)。2次元画像に加え奥行きも加えた3次元の推定事例もある。Deep Learningでないやつも多分ある。
ディープラーニングと姿勢推定 (Human Pose Estimation)
コンピュータビジョンの最新論文調査 2D Human Pose Estimation 編
コンピュータビジョンの最新論文調査 3D Human Pose Estimation 編
事例
※有名なやつorでないやつ等たくさんある。
OpenPose
tf-pose-estimation
MediaPipe Pose
DensePose
EM-POSE
DEKR
bizarre-pose-estimator
KAPAO
ハードウェア
Azure Kinect
RealSense
作例
ELEVENPLAY x Rhizomatiks "S . P . A . C . E ." (2020)
BreakGAN feat. BBOY STEEZ
過去の自動勉強会より
骨格推定(Pose Estimation)ftd.iconbaku89.iconhashrock.icon ※自動勉強会 Vol.2より
作品例
ELEVENPLAY x Rhizomatiks "S . P . A . C . E ." (2020)
骨格を使うのではなくあくまでスタビライズやクロッピングに使っている
人物の前に柵があることが機械学習を利用している事が強調される
BreakGAN feat. BBOY STEEZ
OpenPose
有名だが商用だと高い
tf-pose-estimation
TensorFlow版のOpenPose
無料だったがいつのまにかリポジトリ消滅?(以前書いた解説記事ですftd.icon)
誰かがフォークしたやつ
MediaPipe Pose
GitHub
PoseNetやBlazePoseなどあったが統合された?
3Dの推定もできる
ARKitにも一人だけなら3Dの推定もできるが、精度はイマイチだった記憶
ちょっと試したやつ
https://twitter.com/nagayama/status/1421405741458460673
posenetのグリッチポイ動きはそれも面白い
DensePose
骨格だけでなくUVも推定できる
Facebookが発表
深度ではなくRGBをベースに機械学習などのモデルを使って骨格の部位を推定している