arXiv reaDer
解きほぐされたキーポイント回帰によるボトムアップ型人物ポーズ推定
Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression
本論文における我々の興味の対象は、画像から人間の姿勢を推定するボトムアップのパラダイムである。これまでキーポイントの検出とグルーピングのフレームワークに劣っていた密なキーポイント回帰のフレームワークを検討する。我々の動機は、キーポイントの位置を正確に回帰するためには、キーポイント領域に焦点を当てた表現を学習する必要があるということである。シンプルかつ効果的なアプローチを提示し、解きほぐされたキーポイント回帰(DEKR)と名付ける。キーポイント領域のピクセルを活性化するために、ピクセル単位の空間トランスフォーマーによる適応的な畳み込みを採用し、それに応じてキーポイント領域から表現を学習する。各ブランチは、専用の適応型コンボリューションを用いて表現を学習し、1つのキーポイントを回帰させる。その結果、解きほぐされた表現は、それぞれキーポイント領域に対応することができ、キーポイント回帰は空間的により正確になる。提案された直接回帰法は、キーポイントの検出とグループ化の手法を上回り、COCOとCrowdPoseという2つのベンチマークデータセットにおいて、優れたボトムアップポーズ推定結果を達成することを実証的に示した。コードとモデルは https://github.com/HRNet/DEKR で入手可能。
In this paper, we are interested in the bottom-up paradigm of estimating human poses from an image. We study the dense keypoint regression framework that is previously inferior to the keypoint detection and grouping framework. Our motivation is that regressing keypoint positions accurately needs to learn representations that focus on the keypoint regions. We present a simple yet effective approach, named disentangled keypoint regression (DEKR). We adopt adaptive convolutions through pixel-wise spatial transformer to activate the pixels in the keypoint regions and accordingly learn representations from them. We use a multi-branch structure for separate regression: each branch learns a representation with dedicated adaptive convolutions and regresses one keypoint. The resulting disentangled representations are able to attend to the keypoint regions, respectively, and thus the keypoint regression is spatially more accurate. We empirically show that the proposed direct regression method outperforms keypoint detection and grouping methods and achieves superior bottom-up pose estimation results on two benchmark datasets, COCO and CrowdPose. The code and models are available at https://github.com/HRNet/DEKR.
updated: Tue Apr 06 2021 05:54:46 GMT+0000 (UTC)
published: Tue Apr 06 2021 05:54:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト