arXiv reaDer
「独立したパーツを個別に教える」(TIPS-GAN):教師なしの敵対的な2Dから3Dへの人間の姿勢推定における精度と安定性の改善
"Teaching Independent Parts Separately"(TIPS-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Human Pose Estimation
TIPS-GANを紹介します。これは、教師なしの敵対的2Dから3Dへの人間の姿勢推定の精度と安定性を向上させるための新しいアプローチです。私たちの仕事では、人間の運動学的骨格を1つの空間依存構造と見なしてはならないことを示しています。実際、トレーニング中に完全な2Dポーズが提供されると、キーポイントの3D座標が他のすべてのキーポイントの2D位置に空間的に共依存するという、固有のバイアスが学習されると考えられます。私たちの理論を調査するために、以前の敵対的なアプローチに従いますが、運動学的骨格の空間的に独立した部分である胴体と脚で2つのジェネレーターをトレーニングしました。私たちの調査では、自己整合性を改善することが評価エラーを下げるための鍵であり、したがって、標準的な敵対サイクル内に新しい整合性制約を導入することがわかりました。次に、知識蒸留によって最終的なTIPSモデルを作成しました。これにより、2Dポーズ全体の3D座標を予測して、結果を改善できます。さらに、真に教師なしシナリオのためにトレーニングする期間について、以前の敵対的な学習ペーパーで答えられなかった質問に対処するのに役立ちます。敵対的にトレーニングする2つの独立したジェネレーターは、敵対的ネットワークが不安定になるために発散するソロジェネレーターよりも長い期間、弁別器に対して最小のエラーを保持できることを示します。 TIPSは、ベースラインのソロジェネレーターと比較して、平均エラーを18%削減します。 TIPSは、Human3.6MデータセットとMPI-INF-3DHPデータセットの両方での評価中に、他の教師なしアプローチを改善すると同時に、教師なしアプローチと弱く監視されたアプローチに対して強力に機能します。
We present TIPS-GAN, a new approach to improve the accuracy and stability in unsupervised adversarial 2D to 3D human pose estimation. In our work we demonstrate that the human kinematic skeleton should not be assumed as one spatially dependent structure. In fact, we believe when a full 2D pose is provided during training, there is an inherent bias learned where the 3D coordinate of a keypoint is spatially codependent on the 2D locations of all other keypoints. To investigate our theory we follow previous adversarial approaches but trained two generators on spatially independent parts of the kinematic skeleton, the torso and the legs. During our study we find that improving self-consistency is key to lowering the evaluation error and therefore introduce new consistency constraints within the standard adversarial cycle. We then produced a final TIPS model via knowledge distillation which can predict the 3D coordinates for the entire 2D pose with improved results. Furthermore we help address the question left unanswered in prior adversarial learning papers of how long to train for a truly unsupervised scenario. We show that two independent generators training adversarially can hold a minimum error against a discriminator for a longer period of time than that of a solo generator which will diverge due to the adversarial network becoming unstable. TIPS decreases the average error by 18% when compared to that of a baseline solo generator. TIPS improves upon other unsupervised approaches while also performing strongly against supervised and weakly-supervised approaches during evaluation on both the Human3.6M and MPI-INF-3DHP dataset.
updated: Thu May 12 2022 09:40:25 GMT+0000 (UTC)
published: Thu May 12 2022 09:40:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト