arXiv reaDer
3D人間の姿勢推定におけるコンテキストモデリング:統一された視点
Context Modeling in 3D Human Pose Estimation: A Unified Perspective
複数の3D関節構成が同じ2D投影を持っている可能性があるため、単一の画像から3D人間のポーズを推定することは深刻なあいまいさを伴います。最先端の方法は、あいまいさを減らすために、画像構造モデル(PSM)やグラフニューラルネットワーク(GNN)などのコンテキストモデリング方法に依存することがよくあります。しかし、それらを厳密に並べて比較する研究はありません。そこで、最初に、PSMとGNNの両方が特殊なケースであるコンテキストモデリングの一般式を示します。 2つの方法を比較することにより、GNNのエンドツーエンドのトレーニングスキームとPSMの四肢の長さの制約が、結果を改善するための2つの補完的な要因であることがわかりました。それらの利点を組み合わせるために、我々は、深いネットワークで柔らかい手足の長さの制約を強制することを可能にする注意メカニズムに基づくContextPoseを提案します。このアプローチは、手足の長さが正しくない不条理な3Dポーズ推定値を取得する可能性を効果的に減らし、2つのベンチマークデータセットで最先端の結果を実現します。さらに重要なことに、深いネットワークに四肢の長さの制約を導入することで、アプローチははるかに優れた一般化パフォーマンスを実現できます。
Estimating 3D human pose from a single image suffers from severe ambiguity since multiple 3D joint configurations may have the same 2D projection. The state-of-the-art methods often rely on context modeling methods such as pictorial structure model (PSM) or graph neural network (GNN) to reduce ambiguity. However, there is no study that rigorously compares them side by side. So we first present a general formula for context modeling in which both PSM and GNN are its special cases. By comparing the two methods, we found that the end-to-end training scheme in GNN and the limb length constraints in PSM are two complementary factors to improve results. To combine their advantages, we propose ContextPose based on attention mechanism that allows enforcing soft limb length constraints in a deep network. The approach effectively reduces the chance of getting absurd 3D pose estimates with incorrect limb lengths and achieves state-of-the-art results on two benchmark datasets. More importantly, the introduction of limb length constraints into deep networks enables the approach to achieve much better generalization performance.
updated: Mon Mar 29 2021 11:26:03 GMT+0000 (UTC)
published: Mon Mar 29 2021 11:26:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト