arXiv reaDer
TriPose:ビデオからの三角測量による弱教師あり3D人間ポーズ推定
TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video
ビデオから人間の3Dポーズを推定することは、難しい問題です。 3D人間のポーズの注釈がないことは、教師ありトレーニングや目に見えないデータセットへの一般化にとって大きな障害です。この作業では、3D注釈やキャリブレーションされたカメラを必要としない、弱教師ありトレーニングスキームを提案することでこの問題に対処します。提案された方法は、時間情報と三角測量に依存しています。複数のビューからの2Dポーズを入力として使用して、最初に相対的なカメラの向きを推定し、次に三角測量を介して3Dポーズを生成します。三角測量は、2D人間の関節の信頼度が高いビューにのみ適用されます。次に、生成された3Dポーズを使用して、2Dポーズから3Dポーズを推定するリカレントリフティングネットワーク(RLN)をトレーニングします。さらに、推定された3Dポーズにマルチビュー再投影損失を適用し、マルチビューから推定された3Dポーズが一貫するように強制します。したがって、私たちの方法は実際の制約を緩和し、トレーニングにはマルチビュービデオのみが必要であり、したがって、実際の設定に便利です。推論では、RLNは単にシングルビュービデオを必要とします。提案された方法は、Human3.6MとMPI-INF-3DHPという2つの挑戦的なデータセットでの以前の研究よりも優れています。コードと事前トレーニング済みモデルは公開されます。
Estimating 3D human poses from video is a challenging problem. The lack of 3D human pose annotations is a major obstacle for supervised training and for generalization to unseen datasets. In this work, we address this problem by proposing a weakly-supervised training scheme that does not require 3D annotations or calibrated cameras. The proposed method relies on temporal information and triangulation. Using 2D poses from multiple views as the input, we first estimate the relative camera orientations and then generate 3D poses via triangulation. The triangulation is only applied to the views with high 2D human joint confidence. The generated 3D poses are then used to train a recurrent lifting network (RLN) that estimates 3D poses from 2D poses. We further apply a multi-view re-projection loss to the estimated 3D poses and enforce the 3D poses estimated from multi-views to be consistent. Therefore, our method relaxes the constraints in practice, only multi-view videos are required for training, and is thus convenient for in-the-wild settings. At inference, RLN merely requires single-view videos. The proposed method outperforms previous works on two challenging datasets, Human3.6M and MPI-INF-3DHP. Codes and pretrained models will be publicly available.
updated: Fri May 14 2021 00:46:48 GMT+0000 (UTC)
published: Fri May 14 2021 00:46:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト