ドメイン一般化(DG)は、目に見えないドメインへの一般化可能なモデルを学習することを目的とした、難しい転移学習の問題です。 CLIPやGPT-3などの最近の大規模な事前トレーニング済みモデル、つまりファンデーションモデル(FM)は、多くの流通シフトに対して堅牢であることが示されているため、DGの大幅な改善につながるはずです。この作業では、画像分類のDG問題にCLIPを採用する一般的な方法を研究します。ここでは、ナイーブなゼロショット学習と完全なDG学習設定を評価します。後者については、プロンプト生成の形でのドメイン推論の新しいアプローチとして、AP(Amortized Prompt)を提案します。 CLIPは、ドメイン一般化ベンチマークでいくつかの標準データセット、つまりPACS、VLCS、OfficeHome、TerraIncognitaを使用して、パラメーターを微調整することなく同等のパフォーマンスを提供し、DGにおけるFMの適用性と重要性を示唆しています。さらに、ドメインプロンプト推論をCLIPと組み合わせると、APが強力なベースラインとナイーブなCLIPベースラインを大幅に上回り、精度が71.3%から79.3%に向上することを示します。私たちのアプローチのシンプルさと成功が、ドメインの一般化の分野における基盤モデルの重要性を強調し、より幅広い採用と分析につながることを願っています。
Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model to unseen domains. Recent massive pre-trained models such as CLIP and GPT-3, i.e. foundation models (FMs), have been shown to be robust to many distribution shifts and therefore should lead to substantial improvements in DG. In this work, we study generic ways to adopt CLIP for DG problems in image classification, where we evaluate on naive zero-shot learning and full DG learning settings. For the latter, we propose AP (Amortized Prompt), as a novel approach for domain inference in the form of prompt generation. Using several standard datasets on domain generalization benchmark, namely PACS, VLCS, OfficeHome, and TerraIncognita, CLIP provides comparable performance without fine-tuning any parameters, suggesting the applicability and importance of FM in DG. In addition, we show that combining domain prompt inference with CLIP enables AP to outperform strong baselines and the naive CLIP baselines by a large margin, raising accuracy from 71.3% to 79.3%. We hope the simplicity and success of our approach emphasizes the importance of and leads to wider more adoption and analysis of foundation models in the field of domain generalization.