arXiv reaDer
SVMAC:シングルビュー-マルチアングルの一貫性を備えた単一画像からの教師なし3D人間のポーズ推定
SVMAC: Unsupervised 3D Human Pose Estimation from a Single Image with Single-view-multi-angle Consistency
2D関節から3D人間のポーズを復元することは、特に3D注釈、ビデオ情報、またはマルチビュー情報がない場合、依然として困難な問題です。この論文では、3D注釈のない単一の画像から3D人間のポーズを推定するために、複数の重み共有ジェネレータで構成される教師なしGANベースのモデルを提示します。私たちのモデルでは、推定パフォーマンスを大幅に向上させるために、シングルビュー-マルチアングル整合性(SVMAC)を導入しています。 2D関節位置を入力として使用して、モデルは3Dポーズとカメラを同時に推定します。トレーニング中、推定された3Dポーズはランダムな角度で回転し、推定されたカメラは回転した3Dポーズを2Dに投影します。 2D再投影は、対応する3Dポーズとカメラを推定するために重み共有ジェネレーターに供給され、トレーニングプロセスを自己監視するためにSVMAC制約を課すために混合されます。実験結果は、私たちの方法が、Human3.6MおよびMPI-INF-3DHPの最先端の教師なし方法よりも優れていることを示しています。さらに、MPIIとLSPの定性的結果は、私たちの方法が未知のデータにうまく一般化できることを示しています。
Recovering 3D human pose from 2D joints is still a challenging problem, especially without any 3D annotation, video information, or multi-view information. In this paper, we present an unsupervised GAN-based model consisting of multiple weight-sharing generators to estimate a 3D human pose from a single image without 3D annotations. In our model, we introduce single-view-multi-angle consistency (SVMAC) to significantly improve the estimation performance. With 2D joint locations as input, our model estimates a 3D pose and a camera simultaneously. During training, the estimated 3D pose is rotated by random angles and the estimated camera projects the rotated 3D poses back to 2D. The 2D reprojections will be fed into weight-sharing generators to estimate the corresponding 3D poses and cameras, which are then mixed to impose SVMAC constraints to self-supervise the training process. The experimental results show that our method outperforms the state-of-the-art unsupervised methods on Human 3.6M and MPI-INF-3DHP. Moreover, qualitative results on MPII and LSP show that our method can generalize well to unknown data.
updated: Wed Apr 13 2022 05:08:38 GMT+0000 (UTC)
published: Thu Jun 10 2021 09:43:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト