arXiv reaDer
人間の姿勢推定のための事前ガイドによるソースフリーのドメイン適応
Prior-guided Source-free Domain Adaptation for Human Pose Estimation
2D 人間の姿勢推定のためのドメイン適応方法は通常、適応中にソース データに継続的にアクセスする必要がありますが、これはプライバシー、メモリ、または計算上の制約により困難な場合があります。この制限に対処するために、姿勢推定のためのソースフリー ドメイン適応のタスクに焦点を当てます。このタスクでは、ソース モデルは、ラベルのないターゲット データのみを使用して新しいターゲット ドメインに適応する必要があります。最近の進歩により、分類タスクにソースフリーの手法が導入されましたが、それを姿勢推定の回帰タスクに拡張することは簡単ではありません。この論文では、分布の変化を補うために人気のある Mean Teacher フレームワークに基づいた疑似ラベル付けアプローチである事前ガイド付きセルフ トレーニング (POST) を紹介します。 POST は、特定の画像変換に対して、生徒と教師のモデル間の予測レベルと機能レベルの一貫性を活用します。ソース データがない場合、POST は人間のポーズを事前に利用して、より正確で解剖学的に妥当なポーズ擬似ラベルを生成するようにモデルに指示することで適応プロセスを正規化します。シンプルで直観的であるにもかかわらず、当社のフレームワークは、広範な実験やアブレーション研究で実証されているように、ソース モデルをターゲット データに直接適用する場合と比較して、大幅なパフォーマンス向上を実現できます。実際、私たちのアプローチは、適応にソースデータを使用する最近の最先端の方法に匹敵するパフォーマンスを達成します。
Domain adaptation methods for 2D human pose estimation typically require continuous access to the source data during adaptation, which can be challenging due to privacy, memory, or computational constraints. To address this limitation, we focus on the task of source-free domain adaptation for pose estimation, where a source model must adapt to a new target domain using only unlabeled target data. Although recent advances have introduced source-free methods for classification tasks, extending them to the regression task of pose estimation is non-trivial. In this paper, we present Prior-guided Self-training (POST), a pseudo-labeling approach that builds on the popular Mean Teacher framework to compensate for the distribution shift. POST leverages prediction-level and feature-level consistency between a student and teacher model against certain image transformations. In the absence of source data, POST utilizes a human pose prior that regularizes the adaptation process by directing the model to generate more accurate and anatomically plausible pose pseudo-labels. Despite being simple and intuitive, our framework can deliver significant performance gains compared to applying the source model directly to the target data, as demonstrated in our extensive experiments and ablation studies. In fact, our approach achieves comparable performance to recent state-of-the-art methods that use source data for adaptation.
updated: Sat Aug 26 2023 20:30:04 GMT+0000 (UTC)
published: Sat Aug 26 2023 20:30:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト