arXiv reaDer
CUDA: Contradistinguisher for Unsupervised Domain Adaptation
  この論文では、完全に教師なしで完全に教師なし学習を行うことで得られた事前知識に加えて、ラベルなしターゲットドメインで対比学習を共同で学習することを目的とする、教師なしドメイン適応のためのContradistinguisher(CTDR)と呼ばれる単純なモデルを提案します。ドメイン適応の最近の作品は、最初にソースドメインとターゲットドメインの分布を調整し、次にラベル付けされたソースドメインで分類器を学習してターゲットドメインを分類する間接的な方法に依存しています。ラベルなしターゲットドメイン分類の実際のタスクに対処する間接的な方法のこのアプローチには、3つの主な欠点があります。 (i)ドメイン自体の完全なアライメントを取得するサブタスクは、大きなドメインシフト(言語ドメインなど)により不可能な場合があります。 (ii)複数の分類器を使用して分布を調整すると、多くの場合、過剰適合につながるニューラルネットワークの複雑さが増加します。 (iii)分布の調整により、ドメインがモーフィングされると、ドメイン固有の情報が失われます。この作業では、ドメインのアライメントを必要としないシンプルで直接的なアプローチを提案します。ラベル付きソースドメインの教師あり損失と組み合わせて、ラベルなしターゲットドメインの対比損失を使用して、教師なしドメイン適応タスクのソースおよびターゲット分布の両方でCTDRを共同で学習します。私たちの実験は、CTDRを使用してラベルなしのターゲットドメイン分類のタスクに直接対処することにより、ドメインアラインメントを回避することにより、8つの視覚的および4つの言語ベンチマークドメイン適応データセットに関する最新の結果を達成することを示しています。
In this paper, we propose a simple model referred as Contradistinguisher (CTDR) for unsupervised domain adaptation whose objective is to jointly learn to contradistinguish on unlabeled target domain in a fully unsupervised manner along with prior knowledge acquired by supervised learning on an entirely different domain. Most recent works in domain adaptation rely on an indirect way of first aligning the source and target domain distributions and then learn a classifier on a labeled source domain to classify target domain. This approach of an indirect way of addressing the real task of unlabeled target domain classification has three main drawbacks. (i) The sub-task of obtaining a perfect alignment of the domain in itself might be impossible due to large domain shift (e.g., language domains). (ii) The use of multiple classifiers to align the distributions unnecessarily increases the complexity of the neural networks leading to over-fitting in many cases. (iii) Due to distribution alignment, the domain-specific information is lost as the domains get morphed. In this work, we propose a simple and direct approach that does not require domain alignment. We jointly learn CTDR on both source and target distribution for unsupervised domain adaptation task using contradistinguish loss for the unlabeled target domain in conjunction with a supervised loss for labeled source domain. Our experiments show that avoiding domain alignment by directly addressing the task of unlabeled target domain classification using CTDR achieves state-of-the-art results on eight visual and four language benchmark domain adaptation datasets.
updated: Sun Sep 08 2019 12:16:33 GMT+0000 (UTC)
published: Sun Sep 08 2019 12:16:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト