arXiv reaDer
SVMA:単眼3D人間ポーズ推定のためのGANベースのモデル
SVMA: A GAN-based model for Monocular 3D Human Pose Estimation
2D関節から3D人間のポーズを復元することは、特にビデオやマルチビュー情報がない場合、非常に制約のない問題です。教師なしGANベースのモデルを提示して、単一の画像から抽出された2D関節位置から3D人間のポーズを復元します。私たちのモデルは、GANを使用して、単純な2D-3D対応ではなく、2Dポーズから3Dポーズへの分布のマッピングを学習します。再投影の制約を考慮して、モデルはカメラを推定できるため、推定された3Dポーズを元の2Dポーズに再投影できます。この再投影方法に基づいて、生成されたポーズを回転および再投影して「新しい」2Dポーズを取得し、ウェイトシェアリングジェネレータを使用して「新しい」3Dポーズと「新しい」カメラを推定できます。上記の推定プロセスを通じて、トレーニング中のシングルビューマルチアングル一貫性の損失を定義して、マルチビュー一貫性をシミュレートできます。つまり、単一ビューの 2 つの角度から推定された 3D ポーズとカメラを混合して、リッチな2D再投影を生成し、同じ3Dポーズから再投影された2D再投影は一貫している必要があります。 Human3.6Mでの実験結果は、私たちの方法がすべての最先端の方法を上回っていることを示し、MPI-INF-3DHPでの結果は、私たちの方法が最先端の方法を約15.0%上回っていることを示しています。
Recovering 3D human pose from 2D joints is a highly unconstrained problem, especially without any video or multi-view information. We present an unsupervised GAN-based model to recover 3D human pose from 2D joint locations extracted from a single image. Our model uses a GAN to learn the mapping of distribution from 2D poses to 3D poses, not the simple 2D-3D correspondence. Considering the reprojection constraint, our model can estimate the camera so that we can reproject the estimated 3D pose to the original 2D pose. Based on this reprojection method, we can rotate and reproject the generated pose to get our "new" 2D pose and then use a weight sharing generator to estimate the "new" 3D pose and a "new" camera. Through the above estimation process, we can define the single-view-multi-angle consistency loss during training to simulate multi-view consistency, which means the 3D poses and cameras estimated from two angles of a single view should be able to be mixed to generate rich 2D reprojections, and the 2D reprojections reprojected from the same 3D pose should be consistent. The experimental results on Human3.6M show that our method outperforms all the state-of-the-art methods, and results on MPI-INF-3DHP show that our method outperforms state-of-the-art by approximately 15.0%.
updated: Wed Jun 16 2021 05:21:21 GMT+0000 (UTC)
published: Thu Jun 10 2021 09:43:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト