arXiv reaDer
ボトムアップの人間の姿勢推定のためのヒートマップ回帰の再考
Rethinking the Heatmap Regression for Bottom-up Human Pose Estimation
ヒートマップ回帰は、今日の人間の姿勢推定方法で最も一般的な選択肢になっています。グラウンドトゥルースヒートマップは通常、すべての骨格キーポイントを2Dガウスカーネルでカバーすることによって構築されます。これらのカーネルの標準偏差は修正されています。ただし、人間のスケールの大きな変動とラベル付けのあいまいさを処理する必要があるボトムアップ方式の場合、現在の慣行は不合理に思えます。これらの問題にうまく対処するために、各キーポイントの標準偏差を適応的に調整できるスケール適応ヒートマップ回帰(SAHR)法を提案します。このように、SAHRは、さまざまな人間のスケールやラベル付けのあいまいさに対してより寛容です。ただし、SAHRは、フォアバックグラウンドサンプル間の不均衡を悪化させる可能性があり、SAHRの改善に悪影響を与える可能性があります。したがって、フォアバックグラウンドサンプルのバランスをとるために、重み適応ヒートマップ回帰(WAHR)をさらに導入します。広範な実験により、SAHRとWAHRを組み合わせることで、ボトムアップの人間の姿勢推定の精度が大幅に向上することが示されています。その結果、最終的に最先端のモデルを+ 1.5AP上回るパフォーマンスを実現し、COCO test-dev2017で72.0APを達成しました。これは、ほとんどのトップダウン方式のパフォーマンスに匹敵します。ソースコードはhttps://github.com/greatlog/SWAHR-HumanPoseで入手できます。
Heatmap regression has become the most prevalent choice for nowadays human pose estimation methods. The ground-truth heatmaps are usually constructed via covering all skeletal keypoints by 2D gaussian kernels. The standard deviations of these kernels are fixed. However, for bottom-up methods, which need to handle a large variance of human scales and labeling ambiguities, the current practice seems unreasonable. To better cope with these problems, we propose the scale-adaptive heatmap regression (SAHR) method, which can adaptively adjust the standard deviation for each keypoint. In this way, SAHR is more tolerant of various human scales and labeling ambiguities. However, SAHR may aggravate the imbalance between fore-background samples, which potentially hurts the improvement of SAHR. Thus, we further introduce the weight-adaptive heatmap regression (WAHR) to help balance the fore-background samples. Extensive experiments show that SAHR together with WAHR largely improves the accuracy of bottom-up human pose estimation. As a result, we finally outperform the state-of-the-art model by +1.5AP and achieve 72.0AP on COCO test-dev2017, which is com-arable with the performances of most top-down methods. Source codes are available at https://github.com/greatlog/SWAHR-HumanPose.
updated: Thu Mar 25 2021 05:38:37 GMT+0000 (UTC)
published: Wed Dec 30 2020 14:39:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト