TIPSy-GANを紹介します。これは、教師なしの敵対的2Dから3Dへの人間の姿勢推定の精度と安定性を向上させるための新しいアプローチです。私たちの仕事では、人間の運動学的骨格を1つの空間的に共依存する構造として想定すべきではないことを示しています。実際、トレーニング中に完全な2Dポーズが提供されると、キーポイントの3D座標が他のすべてのキーポイントの2D位置に空間的に共依存するという、固有のバイアスが学習されると考えられます。私たちの理論を調査するために、以前の敵対的なアプローチに従いますが、運動学的骨格の空間的に独立した部分である胴体と脚で2つのジェネレーターをトレーニングします。 2D再投影の自己整合性サイクルを改善することが、評価エラーを下げるための鍵であり、したがって、トレーニング中に新しい整合性制約を導入することがわかります。 TIPSyは、これらのジェネレーターからの知識蒸留によって生成されたモデルであり、2Dポーズ全体の3D座標を予測して、結果を改善できます。さらに、真に教師なしシナリオのためにトレーニングする期間を詳細に説明する、以前の作業で未回答のままになっている質問に対処します。敵対的ネットワークが不安定になるために崩壊する単独の発電機よりも、敵対的に訓練する2つの独立した発電機の安定性が向上していることを示します。 TIPSyは、ベースラインのソロジェネレーターと比較して、平均エラーを18%削減します。 TIPSyは、Human3.6MデータセットとMPI-INF-3DHPデータセットの両方での評価中に、他の教師なしアプローチを改善すると同時に、教師なしアプローチと弱く監視されたアプローチに対して強力に機能します。
We present TIPSy-GAN, a new approach to improve the accuracy and stability in unsupervised adversarial 2D to 3D human pose estimation. In our work we demonstrate that the human kinematic skeleton should not be assumed as one spatially codependent structure. In fact, we believe when a full 2D pose is provided during training, there is an inherent bias learned where the 3D coordinate of a keypoint is spatially codependent on the 2D locations of all other keypoints. To investigate our theory we follow previous adversarial approaches but train two generators on spatially independent parts of the kinematic skeleton, the torso and the legs. We find that improving the 2D reprojection self-consistency cycle is key to lowering the evaluation error and therefore introduce new consistency constraints during training. A TIPSy is produced model via knowledge distillation from these generators which can predict the 3D coordinates for the entire 2D pose with improved results. Furthermore, we address the question left unanswered in prior work detailing how long to train for a truly unsupervised scenario. We show that two independent generators training adversarially has improved stability than that of a solo generator which will collapse due to the adversarial network becoming unstable. TIPSy decreases the average error by 18% when compared to that of a baseline solo generator. TIPSy improves upon other unsupervised approaches while also performing strongly against supervised and weakly-supervised approaches during evaluation on both the Human3.6M and MPI-INF-3DHP dataset.