arXiv reaDer
Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
既存のRGBベースの2D手のポーズ推定方法は、単一の解像度から関節の位置を学習します。これは、さまざまな手のサイズには適していません。この問題に取り組むために、2つの主要なモジュールで構成される新しい深層学習ベースのフレームワークを提案します。前者は、手の骨格を検出し、手の境界ボックスをローカライズするためのセグメンテーションベースのアプローチを示しています。 2番目のモジュールは、モデルをガイドするための制約として予測された手の骨格を利用するマルチスケールヒートマップ回帰アプローチを通じて2D関節位置を回帰します。さらに、手の検出とポーズ推定の両方に適した新しいデータセットを構築します。 2つのデータセットでメソッドを定性的および定量的に検証します。結果は、提案された方法が最先端の方法よりも優れており、雑然とした画像や複雑なポーズでもポーズを回復できることを示しています。
Existing RGB-based 2D hand pose estimation methods learn the joint locations from a single resolution, which is not suitable for different hand sizes. To tackle this problem, we propose a new deep learning-based framework that consists of two main modules. The former presents a segmentation-based approach to detect the hand skeleton and localize the hand bounding box. The second module regresses the 2D joint locations through a multi-scale heatmap regression approach that exploits the predicted hand skeleton as a constraint to guide the model. Furthermore, we construct a new dataset that is suitable for both hand detection and pose estimation. We qualitatively and quantitatively validate our method on two datasets. Results demonstrate that the proposed method outperforms state-of-the-art and can recover the pose even in cluttered images and complex poses.
updated: Sun May 23 2021 10:23:51 GMT+0000 (UTC)
published: Sun May 23 2021 10:23:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト