arXiv reaDer
PoseNet3D:知識蒸留による時間的に一貫した3D人間のポーズの学習
PoseNet3D: Learning Temporally Consistent 3D Human Pose via Knowledge Distillation
2D関節から3D人間のポーズを復元することは、非常に制約のない問題です。 2D関節を入力として受け取り、3DスケルトンとSMPLボディモデルパラメータを出力する新しいニューラルネットワークフレームワーク、PoseNet3Dを提案します。学習アプローチを生徒と教師のフレームワークにキャストすることで、トレーニング中にペア/アンペアの3Dデータ、モーションキャプチャシーケンス、深度画像、マルチビュー画像などの3Dデータを使用することを回避します。まず、トレーニングに2Dポーズのみを使用して、3Dスケルトンを出力する教師ネットワークをトレーニングします。教師ネットワークは、SMPL表現で3Dポーズを予測する学生ネットワークに知識を抽出します。最後に、教師と生徒の両方のネットワークは、時間的、自己一貫性、および敵対的な損失を使用してエンドツーエンドの方法で共同で微調整され、個々のネットワークの精度が向上します。 3D人間の姿勢推定のためのHuman3.6Mデータセットの結果は、私たちのアプローチが以前の教師なし方法と比較して3D関節予測誤差を18%削減することを示しています。インザワイルドデータセットの定性的結果は、復元された3Dポーズとメッシュが自然でリアルであり、連続するフレーム上をスムーズに流れることを示しています。
Recovering 3D human pose from 2D joints is a highly unconstrained problem. We propose a novel neural network framework, PoseNet3D, that takes 2D joints as input and outputs 3D skeletons and SMPL body model parameters. By casting our learning approach in a student-teacher framework, we avoid using any 3D data such as paired/unpaired 3D data, motion capture sequences, depth images or multi-view images during training. We first train a teacher network that outputs 3D skeletons, using only 2D poses for training. The teacher network distills its knowledge to a student network that predicts 3D pose in SMPL representation. Finally, both the teacher and the student networks are jointly fine-tuned in an end-to-end manner using temporal, self-consistency and adversarial losses, improving the accuracy of each individual network. Results on Human3.6M dataset for 3D human pose estimation demonstrate that our approach reduces the 3D joint prediction error by 18% compared to previous unsupervised methods. Qualitative results on in-the-wild datasets show that the recovered 3D poses and meshes are natural, realistic, and flow smoothly over consecutive frames.
updated: Thu Nov 12 2020 05:07:51 GMT+0000 (UTC)
published: Sat Mar 07 2020 00:10:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト