arXiv reaDer
A General Upper Bound for Unsupervised Domain Adaptation
  この作業では、教師なしドメイン適応の問題に対処するために、ターゲットエラーの新しい上限を提示します。最近の研究により、ディープニューラルネットワークは、新しいタスクによく一般化される転送可能な機能を学習できることが明らかになっています。さらに、Ben-Davidらによって提案された理論。 (2010)は、知識を転送するときにターゲットエラーの上限を提供します。これは、ソースエラーと周辺分布間の距離を同時に最小化することとして要約できます。ただし、理論に基づいた一般的な方法では通常、結合誤差を無視するため、周辺分布のマッチング時に異なるクラスのサンプルが混在する可能性があります。そして、そのような場合、限界不一致をどのように最小化しても、結合誤差が増加するため、ターゲット誤差は制限されません。この問題に対処するために、望ましくないケースが適切に罰せられるように、共同誤差を考慮した一般的な上限を提案します。さらに、制約された仮説空間を利用して、敵対者の学習中の不安定性を緩和する仮説間の非類似性を測定するために、より厳密な境界と新しいクロスマージンの不一致をさらに形式化します。広範な経験的証拠は、私たちの提案が標準的なドメイン適応ベンチマークの画像分類エラー率で関連するアプローチをしのぐことを示しています。
In this work, we present a novel upper bound of target error to address the problem for unsupervised domain adaptation. Recent studies reveal that a deep neural network can learn transferable features which generalize well to novel tasks. Furthermore, a theory proposed by Ben-David et al. (2010) provides a upper bound for target error when transferring the knowledge, which can be summarized as minimizing the source error and distance between marginal distributions simultaneously. However, common methods based on the theory usually ignore the joint error such that samples from different classes might be mixed together when matching marginal distribution. And in such case, no matter how we minimize the marginal discrepancy, the target error is not bounded due to an increasing joint error. To address this problem, we propose a general upper bound taking joint error into account, such that the undesirable case can be properly penalized. In addition, we utilize constrained hypothesis space to further formalize a tighter bound as well as a novel cross margin discrepancy to measure the dissimilarity between hypotheses which alleviates instability during adversarial learning. Extensive empirical evidence shows that our proposal outperforms related approaches in image classification error rates on standard domain adaptation benchmarks.
updated: Fri Oct 04 2019 07:40:18 GMT+0000 (UTC)
published: Thu Oct 03 2019 11:31:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト