arXiv reaDer
Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer
半教師ありドメイン適応(SSDA)は、利用可能なソースドメインから学習した転送可能な情報といくつかのラベル付きターゲットデータを利用して、ターゲットドメインのタスクを解決することを目的としています。ただし、実際のシナリオではソースデータに常にアクセスできるとは限らないため、実際の状況ではSSDAの適用が制限されます。この論文では、いくつかの監督でターゲットドメインでうまく一般化するために、ソーストレーニングモデルに基づいてドメイン適応を実行する半教師ありソース仮説転送(SSHT)という名前の新しいタスクを提案します。 SSHTでは、次の2つの課題に直面しています。(1)ラベル付けされたターゲットデータが不十分な場合、ターゲットフィーチャが決定境界近くになり、誤分類のリスクが高まります。 (2)データは通常、ソースドメインで不均衡であるため、これらのデータでトレーニングされたモデルにはバイアスがかかります。バイアスモデルは、マイノリティカテゴリのサンプルをマジョリティカテゴリに分類する傾向があるため、予測の多様性が低くなります。上記の問題に取り組むために、2つのランダムに拡張されたラベルなしデータ間の予測の一貫性を促進し、モデルをターゲットドメインに適応させるときに予測の多様性を維持することにより、SSHTのシンプルで効果的なフレームワークである一貫性と多様性学習(CDL)を提案します。一貫性の正則化を奨励すると、いくつかのラベル付けされたターゲットデータを記憶することが困難になり、学習したモデルの一般化能力が向上します。さらに、バッチ核ノルム最大化をメソッドに統合して、識別可能性と多様性を強化します。実験結果は、私たちの方法が、DomainNet、Office-Home、およびOffice-31データセットで既存のSSDA方法および教師なしモデル適応方法よりも優れていることを示しています。コードはで入手できます。
Semi-supervised domain adaptation (SSDA) aims to solve tasks in target domain by utilizing transferable information learned from the available source domain and a few labeled target data. However, source data is not always accessible in practical scenarios, which restricts the application of SSDA in real world circumstances. In this paper, we propose a novel task named Semi-supervised Source Hypothesis Transfer (SSHT), which performs domain adaptation based on source trained model, to generalize well in target domain with a few supervisions. In SSHT, we are facing two challenges: (1) The insufficient labeled target data may result in target features near the decision boundary, with the increased risk of mis-classification; (2) The data are usually imbalanced in source domain, so the model trained with these data is biased. The biased model is prone to categorize samples of minority categories into majority ones, resulting in low prediction diversity. To tackle the above issues, we propose Consistency and Diversity Learning (CDL), a simple but effective framework for SSHT by facilitating prediction consistency between two randomly augmented unlabeled data and maintaining the prediction diversity when adapting model to target domain. Encouraging consistency regularization brings difficulty to memorize the few labeled target data and thus enhances the generalization ability of the learned model. We further integrate Batch Nuclear-norm Maximization into our method to enhance the discriminability and diversity. Experimental results show that our method outperforms existing SSDA methods and unsupervised model adaptation methods on DomainNet, Office-Home and Office-31 datasets. The code is available at
updated: Tue Jul 20 2021 02:37:34 GMT+0000 (UTC)
published: Wed Jul 07 2021 04:14:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト