arXiv reaDer
オクルージョンのための 3D 認識ニューラル ボディ フィッティング ロバストな 3D 人間の姿勢推定
3D-Aware Neural Body Fitting for Occlusion Robust 3D Human Pose Estimation
3D 人間の姿勢推定のための回帰ベースの方法は、ディープ ネットワークを使用して 2D 画像から 3D 姿勢パラメータを直接予測します。標準ベンチマークでは最先端のパフォーマンスを達成しますが、オクルージョン下ではパフォーマンスが低下します。対照的に、最適化ベースの方法では、パラメトリック ボディ モデルを反復的に 2D 特徴に適合させます。局所的な再構成損失により、オクルージョンに対して堅牢になる可能性がありますが、2D と 3D のあいまいさに悩まされます。剛体姿勢推定における生成モデルの最近の成功を動機として、我々は、SOTA パフォーマンスとオクルージョン ロバスト性を備えた 3D 人間の姿勢推定への合成による近似分析アプローチである 3D 対応ニューラル ボディ フィッティング (3DNBF) を提案します。特に、3D 姿勢依存特徴ベクトルを放出するガウス楕円体カーネルを使用した体積人間表現に基づく深部特徴の生成モデルを提案します。ニューラル機能は、3D を認識できるようになり、したがって 2D と 3D のあいまいさを克服するために、対照学習によってトレーニングされます。実験では、3DNBF がオクルージョンベンチマークと標準ベンチマークの両方で他のアプローチよりも優れていることが示されています。コードは https://github.com/edz-o/3DNBF で入手できます。
Regression-based methods for 3D human pose estimation directly predict the 3D pose parameters from a 2D image using deep networks. While achieving state-of-the-art performance on standard benchmarks, their performance degrades under occlusion. In contrast, optimization-based methods fit a parametric body model to 2D features in an iterative manner. The localized reconstruction loss can potentially make them robust to occlusion, but they suffer from the 2D-3D ambiguity. Motivated by the recent success of generative models in rigid object pose estimation, we propose 3D-aware Neural Body Fitting (3DNBF) - an approximate analysis-by-synthesis approach to 3D human pose estimation with SOTA performance and occlusion robustness. In particular, we propose a generative model of deep features based on a volumetric human representation with Gaussian ellipsoidal kernels emitting 3D pose-dependent feature vectors. The neural features are trained with contrastive learning to become 3D-aware and hence to overcome the 2D-3D ambiguity. Experiments show that 3DNBF outperforms other approaches on both occluded and standard benchmarks. Code is available at https://github.com/edz-o/3DNBF
updated: Sat Aug 19 2023 22:41:00 GMT+0000 (UTC)
published: Sat Aug 19 2023 22:41:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト