ディープ畳み込みニューラルネットワーク(CNN)は、人間の姿勢推定タスクで目覚ましい進歩を遂げました。ただし、ボディキーポイントの位置がCNNによってどのように予測されるかについての明確な理解はなく、構造変数間の空間依存関係がモデルでどのように学習されるかも不明です。これらの質問を調査するために、Transformerアーキテクチャと低レベルの畳み込みブロックに基づいてTransPoseという名前の説明可能なモデルを構築します。画像が与えられると、Transformerに組み込まれているアテンションレイヤーは、キーポイント間の長距離の空間的関係をキャプチャし、予測されたキーポイントの場所がどのような依存関係に大きく依存しているかを説明できます。このタスクの空間依存性を明らかにするための説明として注意を使用することの合理性を分析します。明らかにされた依存関係は画像固有であり、さまざまなキーポイントタイプ、レイヤーの深さ、またはトレーニングされたモデル間で変化します。実験は、TransPoseがキーポイントの位置を正確に予測できることを示しています。主流の完全畳み込みアーキテクチャよりも解釈可能、軽量、効率的でありながら、COCOデータセットで最先端のパフォーマンスを実現します。
Deep Convolutional Neural Networks (CNNs) have made remarkable progress on human pose estimation task. However, there is no explicit understanding of how the locations of body keypoints are predicted by CNN, and it is also unknown what spatial dependency relationships between structural variables are learned in the model. To explore these questions, we construct an explainable model named TransPose based on Transformer architecture and low-level convolutional blocks. Given an image, the attention layers built in Transformer can capture long-range spatial relationships between keypoints and explain what dependencies the predicted keypoints locations highly rely on. We analyze the rationality of using attention as the explanation to reveal the spatial dependencies in this task. The revealed dependencies are image-specific and variable across different keypoint types, layer depths, or trained models. The experiments show that TransPose can accurately predict the positions of keypoints. It achieves state-of-the-art performance on COCO dataset, while being more interpretable, lightweight, and efficient than mainstream fully convolutional architectures.