arXiv reaDer
視覚言語モデルのドメイン不変プロンプトの学習
Learning Domain Invariant Prompt for Vision-Language Models
プロンプト学習は、非常に少ないサンプルで学習可能なプロンプト ベクトルを調整することにより、CLIP のような強力な視覚言語基盤モデルをダウンストリーム データセットに適応させる最も効果的で流行の方法の 1 つです。ただし、迅速な学習はドメイン内のデータに対して優れたパフォーマンスを達成しますが、まだ見えないクラスやドメインに一般化するという大きな課題に直面しています。いくつかの既存のプロンプト学習方法は、異なるトークンまたはドメインに対して異なるプロンプトを適応的に生成することによってこの問題に取り組んでいますが、学習したプロンプトが目に見えないドメインに一般化する能力を無視しています。この論文では、メタプロンプトと呼ばれる、目に見えないドメインに一般化できるドメイン不変プロンプトを直接生成する、新しいプロンプト学習パラダイムを提案します。具体的には、画像とテキストの両方のモダリティから入力のプロンプトを生成するデュアル モダリティ プロンプト チューニング ネットワークが提案されています。新しい非対称対比損失により、元の事前トレーニング済み視覚言語モデルからの表現は、学習したプロンプトの一般化能力を強化するための監督として機能します。さらに重要なことは、あるドメインまたはクラス用に調整されたタスク固有のプロンプトを明示的に制約して、別のドメインまたはクラスでも良好なパフォーマンスを達成する、メタ学習ベースのプロンプト調整アルゴリズムを提案することです。ベースから新しい一般化のための 11 のデータセットとドメイン一般化のための 4 つのデータセットに関する広範な実験は、私たちの方法が既存の方法よりも一貫して大幅に優れていることを示しています。
Prompt learning is one of the most effective and trending ways to adapt powerful vision-language foundation models like CLIP to downstream datasets by tuning learnable prompt vectors with very few samples. However, although prompt learning achieves excellent performance over in-domain data, it still faces the major challenge of generalizing to unseen classes and domains. Some existing prompt learning methods tackle this issue by adaptively generating different prompts for different tokens or domains but neglecting the ability of learned prompts to generalize to unseen domains. In this paper, we propose a novel prompt learning paradigm that directly generates domain invariant prompt that can be generalized to unseen domains, called MetaPrompt. Specifically, a dual-modality prompt tuning network is proposed to generate prompts for input from both image and text modalities. With a novel asymmetric contrastive loss, the representation from the original pre-trained vision-language model acts as supervision to enhance the generalization ability of the learned prompt. More importantly, we propose a meta-learning-based prompt tuning algorithm that explicitly constrains the task-specific prompt tuned for one domain or class to also achieve good performance in another domain or class. Extensive experiments on 11 datasets for base-to-new generalization and 4 datasets for domain generalization demonstrate that our method consistently and significantly outperforms existing methods.
updated: Fri Mar 31 2023 04:12:25 GMT+0000 (UTC)
published: Thu Dec 08 2022 11:23:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト