arXiv reaDer
複合リスクは、教師なしドメイン適応アプローチのパフォーマンスにどのように影響しますか?
How does the Combined Risk Affect the Performance of Unsupervised Domain Adaptation Approaches?
教師なしドメイン適応(UDA)は、ソースドメインからのラベル付きサンプルとターゲットドメインからのラベルなしサンプルを使用してターゲット分類器をトレーニングすることを目的としています。従来のUDAの学習限界は、ターゲットリスクが、ソースリスク、分布の不一致、および複合リスクの3つの用語によって上限が定められていることを示しています。結合されたリスクが小さな固定値であるという仮定に基づいて、この限界に基づく方法は、ソースリスクと分布の不一致の推定量を最小化するだけでターゲット分類器をトレーニングします。ただし、両方の推定量を最小化すると、複合リスクが増加する可能性があり、ターゲットリスクを制御できなくなります。したがって、複合リスクを制御できない場合、ターゲット分類器は理想的なパフォーマンスを達成できません。複合リスクを制御するための重要な課題は、ターゲットドメインでラベル付けされたサンプルが利用できないことに根ざしています。この重要な課題に対処するために、E-MixNetという名前の方法を提案します。 E-MixNetは、ラベル付けされたソースサンプルと疑似ラベル付けされたターゲットサンプルに強化された混合、一般的な隣接分布を採用して、複合リスクのプロキシを計算します。実験によると、プロキシは、ソースリスクと分布の不一致を最小限に抑えると、複合リスクの増加を効果的に抑えることができます。さらに、4つの代表的なUDA手法の損失関数に複合リスクのプロキシを追加すると、それらのパフォーマンスも向上することを示します。
Unsupervised domain adaptation (UDA) aims to train a target classifier with labeled samples from the source domain and unlabeled samples from the target domain. Classical UDA learning bounds show that target risk is upper bounded by three terms: source risk, distribution discrepancy, and combined risk. Based on the assumption that the combined risk is a small fixed value, methods based on this bound train a target classifier by only minimizing estimators of the source risk and the distribution discrepancy. However, the combined risk may increase when minimizing both estimators, which makes the target risk uncontrollable. Hence the target classifier cannot achieve ideal performance if we fail to control the combined risk. To control the combined risk, the key challenge takes root in the unavailability of the labeled samples in the target domain. To address this key challenge, we propose a method named E-MixNet. E-MixNet employs enhanced mixup, a generic vicinal distribution, on the labeled source samples and pseudo-labeled target samples to calculate a proxy of the combined risk. Experiments show that the proxy can effectively curb the increase of the combined risk when minimizing the source risk and distribution discrepancy. Furthermore, we show that if the proxy of the combined risk is added into loss functions of four representative UDA methods, their performance is also improved.
updated: Wed Dec 30 2020 00:46:57 GMT+0000 (UTC)
published: Wed Dec 30 2020 00:46:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト