arXiv reaDer
伝達された知識の視覚化: 教師なしドメイン適応の解釈モデル
Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation
多くの研究努力は、ラベル付けされたソース ドメインから学んだ知識をラベル付けされていないターゲット ドメインに転送する教師なしドメイン適応 (DA) 問題に取り組んできました。最近、さまざまな DA 手法が予測能力に関して目覚ましい成果を上げており、これは前述の知識伝達の有効性を示唆しています。しかし、最先端の手法では、伝達されたメカニズムを深く掘り下げることはめったになく、そのような知識の本質はあいまいなままです。適応プロセスにおけるその重要性を認識して、伝達された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案します。プロトタイプの既存の概念を視覚的画像解釈から DA タスクに適応させて、モデルは同様にドメイン不変表現から共有情報をプロトタイプ ベクトルとして抽出します。さらに、新しい予測キャリブレーションと知識忠実度保存モジュールを使用して現在のプロトタイプ手法を拡張し、学習したプロトタイプを実際に転送された知識に向けます。これらのプロトタイプを視覚化することにより、私たちの方法は、基本モデルの予測について直感的な説明を提供するだけでなく、ソース ドメインとターゲット ドメインの両方で同じセマンティクスを持つ画像パッチを照合することで、伝達知識を明らかにします。包括的な実験と詳細な調査により、転送されたメカニズムを理解する上での方法の有効性と、モデル診断を含む下流のタスクにおけるその可能性が示されます。
Many research efforts have been committed to unsupervised domain adaptation (DA) problems that transfer knowledge learned from a labeled source domain to an unlabeled target domain. Various DA methods have achieved remarkable results recently in terms of predicting ability, which implies the effectiveness of the aforementioned knowledge transferring. However, state-of-the-art methods rarely probe deeper into the transferred mechanism, leaving the true essence of such knowledge obscure. Recognizing its importance in the adaptation process, we propose an interpretive model of unsupervised domain adaptation, as the first attempt to visually unveil the mystery of transferred knowledge. Adapting the existing concept of the prototype from visual image interpretation to the DA task, our model similarly extracts shared information from the domain-invariant representations as prototype vectors. Furthermore, we extend the current prototype method with our novel prediction calibration and knowledge fidelity preservation modules, to orientate the learned prototypes to the actual transferred knowledge. By visualizing these prototypes, our method not only provides an intuitive explanation for the base model's predictions but also unveils transfer knowledge by matching the image patches with the same semantics across both source and target domains. Comprehensive experiments and in-depth explorations demonstrate the efficacy of our method in understanding the transferred mechanism and its potential in downstream tasks including model diagnosis.
updated: Sat Mar 04 2023 03:02:12 GMT+0000 (UTC)
published: Sat Mar 04 2023 03:02:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト