arXiv reaDer
教師なしドメイン適応のためのスムーズな表現の学習
Learning Smooth Representation for Unsupervised Domain Adaptation
ソースデータセットとターゲットデータセットが非常に複雑であるか、データ分布間に大きな不一致がある場合、一般的な敵対訓練ベースの教師なしドメイン適応方法は脆弱です。最近、いくつかのリプシッツ制約ベースの方法が検討されています。リプシッツ連続性の満足度は、ターゲットドメインでの優れたパフォーマンスを保証します。ただし、リプシッツ制約が教師なしドメイン適応に有益であり、通常、大規模データセットでのパフォーマンスが低い理由についての数学的分析が不足しています。この論文では、教師なしドメイン適応の誤差限界にどのように影響するかを議論することにより、リプシッツ制約を利用する原理をさらに取り上げます。それらの間の接続が構築され、Lipschitznessがどのようにエラー限界を減らすかについての実例が提示されます。局所的な滑らかな不一致は、ターゲット分布のリプシッツネスをポイントごとに測定するために定義されます。深いエンドツーエンドモデルを構築する場合、教師なしドメイン適応の有効性と安定性を確保するために、提案された最適化戦略では3つの重要な要素、つまり、ターゲットドメインのサンプル量、サンプルの次元とバッチサイズが考慮されます。実験結果は、私たちのモデルがいくつかの標準ベンチマークでうまく機能することを示しています。私たちのアブレーション研究は、ターゲットドメインのサンプル量、サンプルの次元とバッチサイズが、大規模なデータセットを処理するリプシッツ制約ベースのメソッドの能力に実際に大きな影響を与えることを示しています。コードはhttps://github.com/CuthbertCai/SRDAで入手できます。
Typical adversarial-training-based unsupervised domain adaptation methods are vulnerable when the source and target datasets are highly-complex or exhibit a large discrepancy between their data distributions. Recently, several Lipschitz-constraint-based methods have been explored. The satisfaction of Lipschitz continuity guarantees a remarkable performance on a target domain. However, they lack a mathematical analysis of why a Lipschitz constraint is beneficial to unsupervised domain adaptation and usually perform poorly on large-scale datasets. In this paper, we take the principle of utilizing a Lipschitz constraint further by discussing how it affects the error bound of unsupervised domain adaptation. A connection between them is built and an illustration of how Lipschitzness reduces the error bound is presented. A local smooth discrepancy is defined to measure Lipschitzness of a target distribution in a pointwise way. When constructing a deep end-to-end model, to ensure the effectiveness and stability of unsupervised domain adaptation, three critical factors are considered in our proposed optimization strategy, i.e., the sample amount of a target domain, dimension and batchsize of samples. Experimental results demonstrate that our model performs well on several standard benchmarks. Our ablation study shows that the sample amount of a target domain, the dimension and batchsize of samples indeed greatly impact Lipschitz-constraint-based methods' ability to handle large-scale datasets. Code is available at https://github.com/CuthbertCai/SRDA.
updated: Mon Aug 16 2021 12:28:11 GMT+0000 (UTC)
published: Sun May 26 2019 06:55:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト