この論文では、体、足、顔、手を含む人体全体の密集したランドマークの位置を特定することを目的とした、2D 全身の人間の姿勢推定のタスクを調査します。 ZoomNet と呼ばれる単一ネットワーク アプローチを提案して、人体全体の階層構造を考慮し、さまざまな身体部分のスケール変化を解決します。さらに、全身姿勢推定の精度と効率の両方を促進するために、ZoomNAS と呼ばれるニューラル アーキテクチャ検索フレームワークを提案します。 ZoomNAS は、モデル アーキテクチャと異なるサブモジュール間の接続を共同で検索し、検索されたサブモジュールの計算量を自動的に割り当てます。 ZoomNAS をトレーニングおよび評価するために、最初の大規模な 2D 人体全身データセット、すなわち COCO-WholeBody V1.0 を導入します。これは、野生の画像の 133 のキーポイントに注釈を付けます。広範な実験により、ZoomNAS の有効性と COCO-WholeBody V1.0 の重要性が実証されています。
This paper investigates the task of 2D whole-body human pose estimation, which aims to localize dense landmarks on the entire human body including body, feet, face, and hands. We propose a single-network approach, termed ZoomNet, to take into account the hierarchical structure of the full human body and solve the scale variation of different body parts. We further propose a neural architecture search framework, termed ZoomNAS, to promote both the accuracy and efficiency of whole-body pose estimation. ZoomNAS jointly searches the model architecture and the connections between different sub-modules, and automatically allocates computational complexity for searched sub-modules. To train and evaluate ZoomNAS, we introduce the first large-scale 2D human whole-body dataset, namely COCO-WholeBody V1.0, which annotates 133 keypoints for in-the-wild images. Extensive experiments demonstrate the effectiveness of ZoomNAS and the significance of COCO-WholeBody V1.0.