arXiv reaDer
AdaptPose:学習可能なモーション生成による3D人間のポーズ推定のためのクロスデータセット適応
AdaptPose: Cross-Dataset Adaptation for 3D Human Pose Estimation by Learnable Motion Generation
この論文は、3D人間の姿勢推定モデルのクロスデータセット一般化の問題に対処します。事前にトレーニングされた3Dポーズ推定器を新しいデータセットでテストすると、パフォーマンスが大幅に低下します。以前の方法は、主にトレーニングデータの多様性を改善することによってこの問題に対処していました。多様性だけでは不十分であり、トレーニングデータの特性を、カメラの視点、位置、人間の行動、体のサイズなどの新しいデータセットの特性に適合させる必要があると主張します。この目的のために、ソースデータセットから合成3D人間の動きを生成し、それらを使用して3Dポーズ推定器を微調整するエンドツーエンドのフレームワークであるAdaptPoseを提案します。 AdaptPoseは、敵対的なトレーニングスキームに従います。ソースの3Dポーズから、ジェネレーターは一連の3Dポーズと、生成されたポーズを新しいビューに投影するために使用されるカメラの向きを生成します。 3Dラベルやカメラ情報がなくても、AdaptPoseは、2Dポーズでのみトレーニングしながら、ターゲットデータセットから合成3Dポーズを作成する方法を正常に学習します。 Human3.6M、MPI-INF-3DHP、3DPW、およびSki-Poseデータセットでの実験では、クロスデータセット評価での以前の作業を14%、部分的な3D注釈を使用する以前の半教師あり学習方法を16%上回っています。
This paper addresses the problem of cross-dataset generalization of 3D human pose estimation models. Testing a pre-trained 3D pose estimator on a new dataset results in a major performance drop. Previous methods have mainly addressed this problem by improving the diversity of the training data. We argue that diversity alone is not sufficient and that the characteristics of the training data need to be adapted to those of the new dataset such as camera viewpoint, position, human actions, and body size. To this end, we propose AdaptPose, an end-to-end framework that generates synthetic 3D human motions from a source dataset and uses them to fine-tune a 3D pose estimator. AdaptPose follows an adversarial training scheme. From a source 3D pose the generator generates a sequence of 3D poses and a camera orientation that is used to project the generated poses to a novel view. Without any 3D labels or camera information AdaptPose successfully learns to create synthetic 3D poses from the target dataset while only being trained on 2D poses. In experiments on the Human3.6M, MPI-INF-3DHP, 3DPW, and Ski-Pose datasets our method outperforms previous work in cross-dataset evaluations by 14% and previous semi-supervised learning methods that use partial 3D annotations by 16%.
updated: Tue Mar 15 2022 18:21:16 GMT+0000 (UTC)
published: Wed Dec 22 2021 00:27:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト