この論文では、カスケードトランスフォーマーを使用した回帰ベースのポーズ認識方法を提示します。このドメインの既存のアプローチを分類する1つの方法は、それらを1)に分離することです。ヒートマップベースおよび2)。回帰ベース。一般に、ヒートマップベースの方法はより高い精度を達成しますが、さまざまなヒューリスティック設計(ほとんどエンドツーエンドではありません)の影響を受けますが、回帰ベースのアプローチは比較的低い精度を達成しますが、中間の微分不可能なステップは少なくなります。ここでは、Transformersのエンコーダー・デコーダー構造を利用して、回帰ベースの人物およびキーポイントの検出を実行します。これは、汎用であり、既存のアプローチと比較してヒューリスティックな設計が少なくて済みます。トランスフォーマーの再帰的な自己注意メカニズムを明らかにするために、さまざまな自己注意レイヤーにわたるキーポイント仮説(クエリ)の改良プロセスを示します。実験では、競合する回帰ベースの方法と比較した場合のポーズ認識の競合結果を報告します。
In this paper, we present a regression-based pose recognition method using cascade Transformers. One way to categorize the existing approaches in this domain is to separate them into 1). heatmap-based and 2). regression-based. In general, heatmap-based methods achieve higher accuracy but are subject to various heuristic designs (not end-to-end mostly), whereas regression-based approaches attain relatively lower accuracy but they have less intermediate non-differentiable steps. Here we utilize the encoder-decoder structure in Transformers to perform regression-based person and keypoint detection that is general-purpose and requires less heuristic design compared with the existing approaches. We demonstrate the keypoint hypothesis (query) refinement process across different self-attention layers to reveal the recursive self-attention mechanism in Transformers. In the experiments, we report competitive results for pose recognition when compared with the competing regression-based methods.