広範な教師なしドメイン適応(UDA)研究は、深いモデルを使用して、ラベル付きのソースドメインとラベルなしのターゲットドメイン間で転送可能な表現を学習することにより、実際に大きな成功を収めています。ただし、これまでの作業では、実際のアプリケーションで重要な敵対的な堅牢性を考慮せずに、クリーンな例でのUDAモデルの一般化能力を向上させることに焦点を当てています。従来の敵対的トレーニング方法は、教師あり損失関数によって生成された敵対的例を使用してモデルをトレーニングするため、UDAのラベルなしターゲットドメインでの敵対的ロバスト性には適していません。この作業では、複数の堅牢なImageNetモデルによって学習された中間表現を活用して、UDAモデルの堅牢性を向上させます。私たちの方法は、UDAモデルの機能を、ドメイン適応トレーニングとともにImageNetの事前トレーニング済みモデルによって学習された堅牢な機能と整合させることによって機能します。ラベル付きドメインとラベルなしドメインの両方を利用し、ドメイン適応トレーニング中に敵対的な介入やラベル要件なしで堅牢性を浸透させます。実験結果は、私たちの方法が、さまざまなUDAベンチマークでクリーンな精度を維持しながら、ベースラインと比較して敵対的なロバスト性を大幅に改善することを示しています。
Extensive Unsupervised Domain Adaptation (UDA) studies have shown great success in practice by learning transferable representations across a labeled source domain and an unlabeled target domain with deep models. However, previous works focus on improving the generalization ability of UDA models on clean examples without considering the adversarial robustness, which is crucial in real-world applications. Conventional adversarial training methods are not suitable for the adversarial robustness on the unlabeled target domain of UDA since they train models with adversarial examples generated by the supervised loss function. In this work, we leverage intermediate representations learned by multiple robust ImageNet models to improve the robustness of UDA models. Our method works by aligning the features of the UDA model with the robust features learned by ImageNet pre-trained models along with domain adaptation training. It utilizes both labeled and unlabeled domains and instills robustness without any adversarial intervention or label requirement during domain adaptation training. Experimental results show that our method significantly improves adversarial robustness compared to the baseline while keeping clean accuracy on various UDA benchmarks.