arXiv reaDer
A hybrid classification-regression approach for 3D hand pose estimation using graph convolutional networks
手のポーズの推定は、さまざまな拡張現実および人間とコンピューターの相互作用アプリケーションの重要な部分です。単一のRGB画像から3D手のポーズを予測することは、オクルージョンと深度のあいまいさのために困難です。 GCNベース(グラフ畳み込みネットワーク)の方法は、グラフと手関節の間の構造的関係の類似性を利用して、関節間の運動学的依存性をモデル化します。これらの手法では、事前定義された、またはグローバルに学習されたジョイント関係を使用しますが、ポーズに依存する制約をキャプチャできない場合があります。この問題に対処するために、ポーズごとの関係の制約を学習する2段階のGCNベースのフレームワークを提案します。具体的には、最初のフェーズでは2D / 3D空間を量子化して、関節をその局所性に基づいて2D / 3Dブロックに分類します。この空間依存性情報は、信頼できる2Dおよび3Dポーズを推定するためにこのフェーズをガイドします。第2段階では、適応型最近傍アルゴリズムを使用して結合関係を決定するGCNベースのモジュールを通じて3D推定をさらに改善します。広範な実験により、私たちの多段階GCNアプローチは、正確な2D / 3D手のポーズを生成し、2つの公開データセットの最先端を上回る効率的なモデルを生み出すことが示されています。
Hand pose estimation is a crucial part of a wide range of augmented reality and human-computer interaction applications. Predicting the 3D hand pose from a single RGB image is challenging due to occlusion and depth ambiguities. GCN-based (Graph Convolutional Networks) methods exploit the structural relationship similarity between graphs and hand joints to model kinematic dependencies between joints. These techniques use predefined or globally learned joint relationships, which may fail to capture pose-dependent constraints. To address this problem, we propose a two-stage GCN-based framework that learns per-pose relationship constraints. Specifically, the first phase quantizes the 2D/3D space to classify the joints into 2D/3D blocks based on their locality. This spatial dependency information guides this phase to estimate reliable 2D and 3D poses. The second stage further improves the 3D estimation through a GCN-based module that uses an adaptative nearest neighbor algorithm to determine joint relationships. Extensive experiments show that our multi-stage GCN approach yields an efficient model that produces accurate 2D/3D hand poses and outperforms the state-of-the-art on two public datasets.
updated: Sun May 23 2021 10:09:10 GMT+0000 (UTC)
published: Sun May 23 2021 10:09:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト