arXiv reaDer
Confidence Regularized Self-Training
ドメイン適応における最近の進歩は、深い自己訓練が教師なしドメイン適応のための強力な手段を提供することを示しています。これらの方法では、ターゲットドメインを予測し、自信のある予測を再トレーニング用の疑似ラベルとして使用する反復プロセスがしばしば含まれます。ただし、疑似ラベルはノイズが多いため、セルフトレーニングは誤ったクラスに過剰なラベルの信頼をもたらし、伝播されたエラーを含む逸脱したソリューションにつながる可能性があります。この問題に対処するために、正規化されたセルフトレーニングとして定式化された信頼性のある正規化されたセルフトレーニング(CRST)フレームワークを提案します。私たちの方法は、擬似ラベルを交互最適化を介して共同最適化された連続潜在変数として扱います。信頼の正則化には、ラベルの正則化(LR)とモデルの正則化(MR)の2種類を提案します。 CRST-MRはネットワーク出力の滑らかさを促進する一方で、CRST-LRはソフト疑似ラベルを生成します。画像分類とセマンティックセグメンテーションに関する広範な実験は、CRSTが最新のパフォーマンスで非正規化の対応物よりも優れていることを示しています。この作業のコードとモデルは、で入手できます。
Recent advances in domain adaptation show that deep self-training presents a powerful means for unsupervised domain adaptation. These methods often involve an iterative process of predicting on target domain and then taking the confident predictions as pseudo-labels for retraining. However, since pseudo-labels can be noisy, self-training can put overconfident label belief on wrong classes, leading to deviated solutions with propagated errors. To address the problem, we propose a confidence regularized self-training (CRST) framework, formulated as regularized self-training. Our method treats pseudo-labels as continuous latent variables jointly optimized via alternating optimization. We propose two types of confidence regularization: label regularization (LR) and model regularization (MR). CRST-LR generates soft pseudo-labels while CRST-MR encourages the smoothness on network output. Extensive experiments on image classification and semantic segmentation show that CRSTs outperform their non-regularized counterpart with state-of-the-art performance. The code and models of this work are available at
updated: Wed Jul 15 2020 10:57:38 GMT+0000 (UTC)
published: Mon Aug 26 2019 17:56:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト