arXiv reaDer
TransPose: Keypoint Localization via Transformer
CNNベースのモデルは、人間の姿勢の推定において目覚ましい進歩を遂げましたが、キーポイントをローカライズするためにどのような空間依存性をキャプチャするかは不明なままです。この作業では、人間の姿勢推定のためのTransformerを導入するTransPoseと呼ばれるモデルを提案します。 Transformerに組み込まれているアテンションレイヤーにより、モデルは長距離の関係を効率的にキャプチャでき、予測されたキーポイントがどの依存関係に依存しているかを明らかにすることもできます。キーポイントヒートマップを予測するために、最後のアテンションレイヤーはアグリゲーターとして機能します。アグリゲーターは画像の手がかりから寄与を収集し、キーポイントの最大位置を形成します。 Transformerを介したこのようなヒートマップベースのローカリゼーションアプローチは、Activation Maximization〜erhan2009visualizingの原則に準拠しています。また、明らかになった依存関係は画像固有であり、きめ細かいものです。これにより、モデルがオクルージョンなどの特殊なケースをどのように処理するかについての証拠を提供することもできます。実験は、TransPoseがCOCO検証とtest-devセットで75.8APと75.0APを達成する一方で、主流のCNNアーキテクチャよりも軽量で高速であることを示しています。 TransPoseモデルは、MPIIベンチマークでも非常にうまく転送され、小さなトレーニングコストで微調整すると、テストセットで優れたパフォーマンスを実現します。コードと事前トレーニング済みモデルは公開されています。
While CNN-based models have made remarkable progress on human pose estimation, what spatial dependencies they capture to localize keypoints remains unclear. In this work, we propose a model called TransPose, which introduces Transformer for human pose estimation. The attention layers built in Transformer enable our model to capture long-range relationships efficiently and also can reveal what dependencies the predicted keypoints rely on. To predict keypoint heatmaps, the last attention layer acts as an aggregator, which collects contributions from image clues and forms maximum positions of keypoints. Such a heatmap-based localization approach via Transformer conforms to the principle of Activation Maximization~erhan2009visualizing. And the revealed dependencies are image-specific and fine-grained, which also can provide evidence of how the model handles special cases, e.g., occlusion. The experiments show that TransPose achieves 75.8 AP and 75.0 AP on COCO validation and test-dev sets, while being more lightweight and faster than mainstream CNN architectures. The TransPose model also transfers very well on MPII benchmark, achieving superior performance on the test set when fine-tuned with small training costs. Code and pre-trained models are publicly available
updated: Wed Sep 01 2021 06:09:44 GMT+0000 (UTC)
published: Mon Dec 28 2020 12:33:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト