人間の姿勢推定(HPE)は、人間は本質的に変形可能であり、したがってその姿勢には非常に大きなばらつきがあるため、コンピュータービジョンで最も困難なタスクの1つです。 HPEは、特定の画像またはビデオ内の1人または複数の人の主な共同位置を正しく識別することを目的としています。画像やビデオで人の関節を見つけることは、行動認識やオブジェクト追跡に適用できる重要なタスクです。多くのコンピュータービジョンタスクと同様に、HPEは、フィールドにディープラーニングを導入することで大幅に進歩しました。このホワイトペーパーでは、Newellらによって提案されたHPEのディープラーニングベースのアプローチの1つに焦点を当てます。これは、スタック型砂時計ネットワークと呼ばれています。彼らのアプローチは多くのアプリケーションで広く使用されており、この分野で最高の作品の1つと見なされています。彼らのアプローチの主な焦点は、可能な限り多くの情報を可能な限り多くのスケールでキャプチャして、局所的な特徴と全身の位置を一貫して理解できるようにすることです。彼らの調査結果は、人の向き、手足の配置、隣接する関節の相対的な位置などの重要な手がかりが、さまざまな解像度で複数のスケールから識別できることを示しています。そのために、単一のパイプラインを使用して複数の解像度の画像を処理します。これは、各解像度で空間情報を失わないようにするスキップレイヤーで構成されます。画像の解像度は4x4まで低くなり、より小さな空間的特徴が含まれるようになります。この研究では、ネットワークの計算速度と精度に対するアーキテクチャの変更の影響を研究します。
Human pose estimation (HPE) is one of the most challenging tasks in computer vision as humans are deformable by nature and thus their pose has so much variance. HPE aims to correctly identify the main joint locations of a single person or multiple people in a given image or video. Locating joints of a person in images or videos is an important task that can be applied in action recognition and object tracking. As have many computer vision tasks, HPE has advanced massively with the introduction of deep learning to the field. In this paper, we focus on one of the deep learning-based approaches of HPE proposed by Newell et al., which they named the stacked hourglass network. Their approach is widely used in many applications and is regarded as one of the best works in this area. The main focus of their approach is to capture as much information as it can at all possible scales so that a coherent understanding of the local features and full-body location is achieved. Their findings demonstrate that important cues such as orientation of a person, arrangement of limbs, and adjacent joints' relative location can be identified from multiple scales at different resolutions. To do so, they makes use of a single pipeline to process images in multiple resolutions, which comprises a skip layer to not lose spatial information at each resolution. The resolution of the images stretches as lower as 4x4 to make sure that a smaller spatial feature is included. In this study, we study the effect of architectural modifications on the computational speed and accuracy of the network.