arXiv reaDer
Self-Supervision and Spatial-Sequential Attention Based Loss for Multi-Person Pose Estimation
ボトムアップベースの複数人のポーズ推定アプローチでは、補助予測を使用したヒートマップを使用して、関節の位置と所属を一度に推定します。最近、より高いパフォーマンスを得るために、補助予測とヒートマップのさまざまな組み合わせが提案されています。これらの予測は、対応するL2損失関数によって直接監視されます。ただし、より明確な監視がないため、機能の使用率が低くなり、1つのモデルの予測間に矛盾が生じます。これらの問題を解決するために、この論文は次のことを提案します。 (ii)ヒートマップ、Part Affinity Fields(PAF)、およびピクセルレベルのジョイント位置を固定するためのブロック内部オフセットによって構成される予測の新しい組み合わせであり、提案された損失関数の有効性をさらに示します。実験は、MS COCOキーポイントデータセットで実施され、ベースラインモデルとしてOpenPoseを採用しています。私たちの方法は、全体的にベースラインを上回っています。 COCO検証データセットでは、提案でトレーニングされたOpenPoseのmAPは、OpenPoseベースラインを5.5%以上上回っています。
Bottom-up based multi-person pose estimation approaches use heatmaps with auxiliary predictions to estimate joint positions and belonging at one time. Recently, various combinations between auxiliary predictions and heatmaps have been proposed for higher performance, these predictions are supervised by the corresponding L2 loss function directly. However, the lack of more explicit supervision results in low features utilization and contradictions between predictions in one model. To solve these problems, this paper proposes (i) a new loss organization method which uses self-supervised heatmaps to reduce prediction contradictions and spatial-sequential attention to enhance networks' features extraction; (ii) a new combination of predictions composed by heatmaps, Part Affinity Fields (PAFs) and our block-inside offsets to fix pixel-level joints positions and further demonstrates the effectiveness of proposed loss function. Experiments are conducted on the MS COCO keypoint dataset and adopting OpenPose as the baseline model. Our method outperforms the baseline overall. On the COCO verification dataset, the mAP of OpenPose trained with our proposals outperforms the OpenPose baseline by over 5.5%.
updated: Wed Oct 20 2021 19:13:17 GMT+0000 (UTC)
published: Wed Oct 20 2021 19:13:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト