arXiv reaDer
仮説の不一致正則化された相互情報量の最大化
Hypothesis Disparity Regularized Mutual Information Maximization
仮説伝達学習(HTL)と教師なしドメイン適応(UDA)を統合するための取り組みとして、ソースドメインからの知識が伝達される、教師なし仮説伝達に取り組むための仮説視差正則化相互情報最大化〜(HDMI)アプローチを提案します。仮説のみを介して、教師なしの方法でターゲットドメインに適応します。通常、単一の仮説を使用する一般的なHTLおよびUDAアプローチとは対照的に、HDMIは複数の仮説を使用して、ソースおよびターゲットの仮説の基礎となる分布を活用します。相互情報量の最大化を通じてラベルのないターゲットドメインに適応しながら、さまざまな仮説間の重要な関係をより有効に活用するために(各仮説を個別に制約なしで最適化するのではなく)、HDMIには、ターゲット仮説を調整する仮説視差正規化が組み込まれており、より良いターゲット表現を共同で学習します。より適切に調整された予測の不確実性により、より伝達可能なソース知識を維持します。 HDMIは、適応中にソースデータにアクセスする必要なしに、HTLのコンテキストでUDAのベンチマークデータセットで最先端の適応パフォーマンスを実現します。
We propose a hypothesis disparity regularized mutual information maximization~(HDMI) approach to tackle unsupervised hypothesis transfer -- as an effort towards unifying hypothesis transfer learning (HTL) and unsupervised domain adaptation (UDA) -- where the knowledge from a source domain is transferred solely through hypotheses and adapted to the target domain in an unsupervised manner. In contrast to the prevalent HTL and UDA approaches that typically use a single hypothesis, HDMI employs multiple hypotheses to leverage the underlying distributions of the source and target hypotheses. To better utilize the crucial relationship among different hypotheses -- as opposed to unconstrained optimization of each hypothesis independently -- while adapting to the unlabeled target domain through mutual information maximization, HDMI incorporates a hypothesis disparity regularization that coordinates the target hypotheses jointly learn better target representations while preserving more transferable source knowledge with better-calibrated prediction uncertainty. HDMI achieves state-of-the-art adaptation performance on benchmark datasets for UDA in the context of HTL, without the need to access the source data during the adaptation.
updated: Tue Dec 15 2020 03:39:16 GMT+0000 (UTC)
published: Tue Dec 15 2020 03:39:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト