arXiv reaDer
位置の不一致に基づく半教師付き 2D 人間の姿勢推定 疑似ラベル補正モジュール
Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module
このホワイト ペーパーでは、半教師あり 2D 人間の姿勢推定について詳しく説明します。以前の方法では、次の 2 つの問題が無視されていました。(i) 大規模モデルと軽量モデルの間で対話型トレーニングを行う場合、軽量モデルの疑似ラベルを使用して大規模モデルを誘導します。 (ii)トレーニングに対するノイズ疑似ラベルの悪影響。さらに、2D の人間の姿勢推定に使用されるラベルは比較的複雑です: キーポイント カテゴリとキーポイント位置。上記の問題を解決するために、位置不一致疑似ラベル補正モジュール (SSPCM) によって駆動される、半教師付き 2D 人間姿勢推定フレームワークを提案します。追加の補助教師を導入し、異なる期間に 2 教師モデルによって生成された疑似ラベルを使用して、不一致スコアを計算し、外れ値を削除します。次に、2 人の教師モデルが対話型トレーニングによって更新され、生徒モデルが 2 人の教師によって生成された疑似ラベルを使用して更新されます。学生モデルのパフォーマンスをさらに改善するために、疑似キーポイント認識に基づく半教師付きカットオクルードを使用して、よりハードで効果的なサンプルを生成します。さらに、新しい屋内オーバーヘッド フィッシュアイ ヒューマン キーポイント データセット WEPDTOF-Pose も提案しました。広範な実験により、私たちの方法が以前の最良の半教師付き2D人間姿勢推定方法よりも優れていることが実証されています。 https://github.com/hlz0606/SSPCM でコードとデータセットをリリースします。
In this paper, we delve into semi-supervised 2D human pose estimation. The previous method ignored two problems: (i) When conducting interactive training between large model and lightweight model, the pseudo label of lightweight model will be used to guide large models. (ii) The negative impact of noise pseudo labels on training. Moreover, the labels used for 2D human pose estimation are relatively complex: keypoint category and keypoint position. To solve the problems mentioned above, we propose a semi-supervised 2D human pose estimation framework driven by a position inconsistency pseudo label correction module (SSPCM). We introduce an additional auxiliary teacher and use the pseudo labels generated by the two teacher model in different periods to calculate the inconsistency score and remove outliers. Then, the two teacher models are updated through interactive training, and the student model is updated using the pseudo labels generated by two teachers. To further improve the performance of the student model, we use the semi-supervised Cut-Occlude based on pseudo keypoint perception to generate more hard and effective samples. In addition, we also proposed a new indoor overhead fisheye human keypoint dataset WEPDTOF-Pose. Extensive experiments demonstrate that our method outperforms the previous best semi-supervised 2D human pose estimation method. We will release the code and dataset at https://github.com/hlz0606/SSPCM.
updated: Wed Mar 08 2023 02:57:05 GMT+0000 (UTC)
published: Wed Mar 08 2023 02:57:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト