arXiv reaDer
迅速な学習によるドメイン適応
Domain Adaptation via Prompt Learning
教師なしドメイン適応(UDA)は、適切に注釈が付けられたソースドメインから学習したモデルを、ラベルのないサンプルのみが提供されるターゲットドメインに適応させることを目的としています。現在のUDAアプローチは、ソースとターゲットの特徴空間を調整することにより、ドメイン不変の特徴を学習します。このような調整は、統計的不一致の最小化や敵対的トレーニングなどの制約によって課せられます。ただし、これらの制約により、意味素性構造が歪曲され、クラスの識別可能性が失われる可能性があります。この論文では、プロンプト学習によるドメイン適応(DAPL)という名前のUDAの新しいプロンプト学習パラダイムを紹介します。以前の作品とは対照的に、私たちのアプローチは、事前に訓練された視覚言語モデルを利用し、ごくわずかなパラメータのみを最適化します。主なアイデアは、ドメイン情報をプロンプトに埋め込むことです。プロンプトは、自然言語から生成された表現の形式であり、分類を実行するために使用されます。このドメイン情報は、同じドメインの画像によってのみ共有されるため、各ドメインに応じて分類子が動的に適応されます。このパラダイムを採用することにより、私たちのモデルは、いくつかのクロスドメインベンチマークで以前の方法を上回っているだけでなく、トレーニングが非常に効率的で、実装が簡単であることを示しています。
Unsupervised domain adaption (UDA) aims to adapt models learned from a well-annotated source domain to a target domain, where only unlabeled samples are given. Current UDA approaches learn domain-invariant features by aligning source and target feature spaces. Such alignments are imposed by constraints such as statistical discrepancy minimization or adversarial training. However, these constraints could lead to the distortion of semantic feature structures and loss of class discriminability. In this paper, we introduce a novel prompt learning paradigm for UDA, named Domain Adaptation via Prompt Learning (DAPL). In contrast to prior works, our approach makes use of pre-trained vision-language models and optimizes only very few parameters. The main idea is to embed domain information into prompts, a form of representations generated from natural language, which is then used to perform classification. This domain information is shared only by images from the same domain, thereby dynamically adapting the classifier according to each domain. By adopting this paradigm, we show that our model not only outperforms previous methods on several cross-domain benchmarks but also is very efficient to train and easy to implement.
updated: Mon Feb 14 2022 13:25:46 GMT+0000 (UTC)
published: Mon Feb 14 2022 13:25:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト