arXiv reaDer
Cycle Self-Training for Domain Adaptation
教師なしドメイン適応(UDA)の主流のアプローチは、ドメイン不変表現を学習してドメインシフトを狭めます。最近、ターゲット疑似ラベルを使用してトレーニングすることにより、ラベルなしのターゲットデータを活用するUDAでセルフトレーニングが勢いを増しています。ただし、この作業で裏付けられているように、UDAの分布シフトの下では、疑似ラベルは、ターゲットのグラウンドトゥルースとの大きな不一致という点で信頼できない可能性があります。これにより、サイクルセルフトレーニング(CST)を提案します。これは、ドメイン間で一般化するために疑似ラベルを明示的に適用する原理的なセルフトレーニングアルゴリズムです。 CSTは、収束するまで順方向ステップと逆方向ステップの間を循環します。フォワードステップでは、CSTはソーストレーニングされた分類器を使用してターゲット疑似ラベルを生成します。逆のステップでは、CSTはターゲット疑似ラベルを使用してターゲット分類器をトレーニングし、共有表現を更新して、ターゲット分類器がソースデータで適切に機能するようにします。ターゲット疑似ラベルの品質を向上させるための信頼性の高い正則化として、Tsallisエントロピーを紹介します。現実的な仮定の下でCSTを理論的に分析し、CSTがターゲットのグラウンドトゥルースを回復する一方で、不変の特徴学習とバニラの自己トレーニングの両方が失敗するハードケースを提供します。経験的結果は、CSTが視覚認識および感情分析ベンチマークの最先端を大幅に上回っていることを示しています。
Mainstream approaches for unsupervised domain adaptation (UDA) learn domain-invariant representations to narrow the domain shift. Recently, self-training has been gaining momentum in UDA, which exploits unlabeled target data by training with target pseudo-labels. However, as corroborated in this work, under distributional shift in UDA, the pseudo-labels can be unreliable in terms of their large discrepancy from target ground truth. Thereby, we propose Cycle Self-Training (CST), a principled self-training algorithm that explicitly enforces pseudo-labels to generalize across domains. CST cycles between a forward step and a reverse step until convergence. In the forward step, CST generates target pseudo-labels with a source-trained classifier. In the reverse step, CST trains a target classifier using target pseudo-labels, and then updates the shared representations to make the target classifier perform well on the source data. We introduce the Tsallis entropy as a confidence-friendly regularization to improve the quality of target pseudo-labels. We analyze CST theoretically under realistic assumptions, and provide hard cases where CST recovers target ground truth, while both invariant feature learning and vanilla self-training fail. Empirical results indicate that CST significantly improves over the state-of-the-arts on visual recognition and sentiment analysis benchmarks.
updated: Wed Oct 13 2021 05:17:28 GMT+0000 (UTC)
published: Fri Mar 05 2021 10:04:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト