基礎的な画像言語モデルは、迅速な学習によって下流のタスクに効率的に適応できるため、大きな関心を集めています。即時学習では、言語モデル入力の一部をトレーニング可能として扱い、残りを凍結し、経験的リスク最小化目標を最適化します。ただし、経験的リスクの最小化は、トレーニング中に目に見えないプロンプトに対する一般化可能性を損なう分布の変化に悩まされることが知られています。ベイズ手法の正則化機能を活用することで、ベイズ手法の観点からプロンプト学習を組み立て、それを変分推論問題として定式化します。私たちのアプローチはプロンプト空間を正規化し、目に見えるプロンプトへの過剰適合を減らし、目に見えないプロンプトに対するプロンプトの一般化を改善します。私たちのフレームワークは、入力プロンプト空間を確率的な方法でアプリオリ分布としてモデル化することによって実装され、これにより私たちの提案は画像に対して無条件または条件付きのプロンプト学習アプローチと互換性があります。我々は、ベイジアン プロンプト学習がプロンプト空間を適切にカバーし、偽の特徴の学習を防止し、伝達可能な不変特徴を活用することを 15 のベンチマークで経験的に実証します。これにより、異なるデータセットやドメインにまたがる場合でも、目に見えないプロンプトをより適切に一般化できます。コードは https://github.com/saic-fi/Bayesian-Prompt-Learning で入手できます。
Foundational image-language models have generated considerable interest due to their efficient adaptation to downstream tasks by prompt learning. Prompt learning treats part of the language model input as trainable while freezing the rest, and optimizes an Empirical Risk Minimization objective. However, Empirical Risk Minimization is known to suffer from distributional shifts which hurt generalizability to prompts unseen during training. By leveraging the regularization ability of Bayesian methods, we frame prompt learning from the Bayesian perspective and formulate it as a variational inference problem. Our approach regularizes the prompt space, reduces overfitting to the seen prompts and improves the prompt generalization on unseen prompts. Our framework is implemented by modeling the input prompt space in a probabilistic manner, as an a priori distribution which makes our proposal compatible with prompt learning approaches that are unconditional or conditional on the image. We demonstrate empirically on 15 benchmarks that Bayesian prompt learning provides an appropriate coverage of the prompt space, prevents learning spurious features, and exploits transferable invariant features. This results in better generalization of unseen prompts, even across different datasets and domains. Code available at: https://github.com/saic-fi/Bayesian-Prompt-Learning