arXiv reaDer
ノイズの多い知識伝達のための二重修正適応ネットワーク
Dual-Correction Adaptation Network for Noisy Knowledge Transfer
以前の教師なしドメイン適応(UDA)の方法は、ラベルが豊富なソースドメインからラベルのないターゲットドメインへの一方向の知識転送を介してターゲット学習を促進することを目的としていますが、ターゲットからソースへの逆適応はこれまで共同で検討されていません。実際、実際の教育実習では、教師が生徒の学習を支援すると同時に、ある程度生徒から昇進を得ることができます。これにより、ドメイン間の双方向の知識移転を模索し、Dual-Correction Adaptation Network(DualCAN)を提案することができます。この論文では。ただし、ドメイン間でのラベルの知識が非対称であるため、ラベルのないターゲットからラベルの付いたソースへの転送は、一般的なソースからターゲットへの対応よりも難しい課題になります。まず、ソースによって予測されたターゲット疑似ラベルには、通常、モデルバイアスによるノイズが含まれるため、逆適応では、ソースのパフォーマンスが低下し、ターゲットからソースへの転送が負になる可能性があります。第2に、ソースドメインには通常、固有のノイズが含まれています。これにより、必然的にターゲットノイズが悪化し、ドメイン間でノイズが増幅されます。この目的のために、ノイズ識別および修正(NIC)モジュールをさらに導入して、両方のドメインのノイズを修正およびリサイクルします。私たちの知る限り、これはノイズの多いUDAに対する双方向適応の最初の素朴な試みであり、ノイズのないUDAに自然に適用できます。理論的正当化は、私たちの直感の合理性を述べるために与えられます。経験的な結果は、特に極端にノイズの多いタスク(たとえば、Office-HomeのPw->PrおよびPr->Rwで〜+ 15%)に対して、最先端のパフォーマンスを大幅に向上させたDualCANの有効性を確認しています。
Previous unsupervised domain adaptation (UDA) methods aim to promote target learning via a single-directional knowledge transfer from label-rich source domain to unlabeled target domain, while its reverse adaption from target to source has not jointly been considered yet so far. In fact, in some real teaching practice, a teacher helps students learn while also gets promotion from students to some extent, which inspires us to explore a dual-directional knowledge transfer between domains, and thus propose a Dual-Correction Adaptation Network (DualCAN) in this paper. However, due to the asymmetrical label knowledge across domains, transfer from unlabeled target to labeled source poses a more difficult challenge than the common source-to-target counterpart. First, the target pseudo-labels predicted by source commonly involve noises due to model bias, hence in the reverse adaptation, they may hurt the source performance and bring a negative target-to-source transfer. Secondly, source domain usually contains innate noises, which will inevitably aggravate the target noises, leading to noise amplification across domains. To this end, we further introduce a Noise Identification and Correction (NIC) module to correct and recycle noises in both domains. To our best knowledge, this is the first naive attempt of dual-directional adaptation for noisy UDA, and naturally applicable to noise-free UDA. A theory justification is given to state the rationality of our intuition. Empirical results confirm the effectiveness of DualCAN with remarkable performance gains over state-of-the-arts, particularly for extreme noisy tasks (e.g., ~+ 15% on Pw->Pr and Pr->Rw of Office-Home).
updated: Sun Jul 10 2022 09:18:16 GMT+0000 (UTC)
published: Sun Jul 10 2022 09:18:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト