教師なしドメイン適応(UDA)は、ラベル付きのソースドメインからラベルなしのターゲットドメインに知識を転送することを目的としています。ほとんどの既存のUDAアプローチは、ドメイン不変表現を学習し、2つのドメイン間で1つの分類子を共有することで知識の伝達を可能にします。ただし、タスクに関連するドメイン固有の情報を無視し、統合された分類子を両方のドメインに適合させると、各ドメインの機能の表現力が制限されます。このホワイトペーパーでは、同等のパラメーターを備えたTransformerアーキテクチャが、CNNの対応するアーキテクチャよりも転送可能な表現を生成できることを確認することで、各ドメインのドメイン固有の知識を個別に調査し、その間にクロスドメインを交換するWin-Win TRansformerフレームワーク(WinTR)を提案します。知識。具体的には、Transformerで2つの個別の分類トークンを使用して2つの異なるマッピングを学習し、それぞれについてドメイン固有の分類子を設計します。クロスドメインの知識は、ソースガイド付きラベルの改良と、ソースまたはターゲットに関する片面機能の調整によって転送されます。これにより、ドメイン固有の情報の整合性が維持されます。 3つのベンチマークデータセットでの広範な実験は、私たちの方法が最先端のUDA方法よりも優れていることを示しており、ドメイン固有と不変の両方を活用することの有効性を検証しています。
Unsupervised Domain Adaptation (UDA) aims to transfer knowledge from a labeled source domain to an unlabeled target domain. Most existing UDA approaches enable knowledge transfer via learning domain-invariant representation and sharing one classifier across two domains. However, ignoring the domain-specific information that are related to the task, and forcing a unified classifier to fit both domains will limit the feature expressiveness in each domain. In this paper, by observing that the Transformer architecture with comparable parameters can generate more transferable representations than CNN counterparts, we propose a Win-Win TRansformer framework (WinTR) that separately explores the domain-specific knowledge for each domain and meanwhile interchanges cross-domain knowledge. Specifically, we learn two different mappings using two individual classification tokens in the Transformer, and design for each one a domain-specific classifier. The cross-domain knowledge is transferred via source guided label refinement and single-sided feature alignment with respect to source or target, which keeps the integrity of domain-specific information. Extensive experiments on three benchmark datasets show that our method outperforms the state-of-the-art UDA methods, validating the effectiveness of exploiting both domain-specific and invariant