arXiv reaDer
グローバル適応とローカル一般化の融合: 3D 人体姿勢推定のための教師なしドメイン適応
Global Adaptation meets Local Generalization: Unsupervised Domain Adaptation for 3D Human Pose Estimation
事前トレーニング済みの 2D から 3D への人間のポーズ リフティング モデルをターゲットの目に見えないデータセットに適用すると、ドメイン シフトの問題が原因でパフォーマンスが大幅に低下することがよくあります。劣化は 2 つの要因によって引き起こされることがわかります。1) さまざまなカメラ パラメーターと設定による、ソース データセットとターゲット データセット間のポーズのグローバル位置の大きな分布ギャップ、および 2) トレーニングにおけるポーズのローカル構造の不十分な多様性。この目的のために、PoseDA でグローバル適応とローカル一般化を組み合わせます。これは、3D 人間の姿勢推定のための教師なしドメイン適応のシンプルで効果的なフレームワークです。具体的には、グローバル アダプテーションは、提案されたグローバル ポジション アライメント (GPA) モジュールを使用して、ソース ドメインからターゲット ドメインへのポーズのグローバル位置を揃えることを目的としています。また、ローカル ジェネラライゼーションは、ローカル ポーズ拡張 (LPA) モジュールを使用して 2D-3D ポーズ マッピングの多様性を強化するように設計されています。これらのモジュールは、追加の学習可能なパラメーターを導入することなく、パフォーマンスを大幅に改善します。さらに、1) 事前定義されたポーズ変換のパラメーターを生成する拡張ジェネレーターと、2) 現実を確保するためのアンカー弁別器で構成される敵対的トレーニング スキームに従って、3D ポーズの多様性を強化するローカル ポーズ拡張 (LPA) を提案します。拡張データの品質。私たちのアプローチは、ほぼすべての 2D-3D リフティング モデルに適用できます。 PoseDA は、クロスデータセット評価セットアップの下で、MPI-INF-3DHP で 61.3 mm の MPJPE を達成し、以前の最先端の方法を 10.2% 改善しています。
When applying a pre-trained 2D-to-3D human pose lifting model to a target unseen dataset, large performance degradation is commonly encountered due to domain shift issues. We observe that the degradation is caused by two factors: 1) the large distribution gap over global positions of poses between the source and target datasets due to variant camera parameters and settings, and 2) the deficient diversity of local structures of poses in training. To this end, we combine global adaptation and local generalization in PoseDA, a simple yet effective framework of unsupervised domain adaptation for 3D human pose estimation. Specifically, global adaptation aims to align global positions of poses from the source domain to the target domain with a proposed global position alignment (GPA) module. And local generalization is designed to enhance the diversity of 2D-3D pose mapping with a local pose augmentation (LPA) module. These modules bring significant performance improvement without introducing additional learnable parameters. In addition, we propose local pose augmentation (LPA) to enhance the diversity of 3D poses following an adversarial training scheme consisting of 1) a augmentation generator that generates the parameters of pre-defined pose transformations and 2) an anchor discriminator to ensure the reality and quality of the augmented data. Our approach can be applicable to almost all 2D-3D lifting models. PoseDA achieves 61.3 mm of MPJPE on MPI-INF-3DHP under a cross-dataset evaluation setup, improving upon the previous state-of-the-art method by 10.2%.
updated: Thu Aug 17 2023 06:55:15 GMT+0000 (UTC)
published: Wed Mar 29 2023 04:54:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト