arXiv reaDer
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
最新の教師なしドメイン適応(UDA)アプローチは、ドメインアラインメントに根ざしています。つまり、ソースとターゲットの機能をアラインメントして、ソースラベルを使用してターゲットドメイン分類子を学習することを学習します。半教師ありドメイン適応(SSDA)では、学習者が少数のターゲットドメインラベルにアクセスできる場合、以前のアプローチはUDA理論に従って、学習にドメインアラインメントを使用していました。 SSDAの場合は異なり、アライメントを必要とせずに適切なターゲット分類子を学習できることを示します。自己監視型の事前トレーニング(回転予測による)と整合性の正則化を使用して、十分に分離されたターゲットクラスターを実現し、エラーの少ないターゲット分類子の学習を支援します。 Pretraining and Consistency(PAC)アプローチを使用すると、この半教師ありドメイン適応タスクで最先端のターゲット精度を達成し、複数のデータセットにわたって複数の敵対的なドメインアラインメント方法を上回ります。 PACは、単純な手法を使用しながら、DomainNetやVisda-17などの大規模でやりがいのあるSSDAベンチマークで非常に優れたパフォーマンスを発揮し、多くの場合、かなりのマージンで最近の最先端技術を上回っています。実験のコードはにあります。
Most modern unsupervised domain adaptation (UDA) approaches are rooted in domain alignment, i.e., learning to align source and target features to learn a target domain classifier using source labels. In semi-supervised domain adaptation (SSDA), when the learner can access few target domain labels, prior approaches have followed UDA theory to use domain alignment for learning. We show that the case of SSDA is different and a good target classifier can be learned without needing alignment. We use self-supervised pretraining (via rotation prediction) and consistency regularization to achieve well separated target clusters, aiding in learning a low error target classifier. With our Pretraining and Consistency (PAC) approach, we achieve state of the art target accuracy on this semi-supervised domain adaptation task, surpassing multiple adversarial domain alignment methods, across multiple datasets. PAC, while using simple techniques, performs remarkably well on large and challenging SSDA benchmarks like DomainNet and Visda-17, often outperforming recent state of the art by sizeable margins. Code for our experiments can be found at
updated: Sat Oct 23 2021 17:10:49 GMT+0000 (UTC)
published: Fri Jan 29 2021 18:40:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト