大規模なビジョン言語 (VL) モデルは、迅速な調整を通じて下流タスクの顕著な一般化機能を実証しました。ただし、現実世界のシナリオでよくある問題であるクラスの不均衡が存在すると、パフォーマンスが大幅に低下します。この論文では、VL モデルの汎化性能に対するクラスの不均衡の影響を調査し、ニューラル崩壊現象をこれらのモデルに拡張し、汎化能力に対するクラスの不均衡の影響の背後にある幾何学的理由を明らかにします。この問題に対処するために、テキストと画像の両方の特徴が同じシンプレックス ETF 構造を満たすようにプロンプトを最適化する新しい方法である Neural Collapse based Prompt Tuning (NPT) を提案します。 NPT には、幾何学的バイアス除去とマルチモーダル同型性という 2 つの正則化項が組み込まれており、一般化機能を維持しながら、クラス不均衡条件下での VL モデルの堅牢性が強化されています。私たちの包括的な実験では、NPT が 11 の多様な画像認識データセットにわたって既存のプロンプト学習技術よりも優れたパフォーマンスを示し、不均衡なデータに直面した場合に新規クラスで 2.63% の絶対平均ゲイン、調和平均で 2.47% の絶対平均ゲインを達成することが示されました。
Large-scale vision-language (V-L) models have demonstrated remarkable generalization capabilities for downstream tasks through prompt tuning. However, their performance suffers significantly in the presence of class imbalance, a common issue in real-world scenarios. In this paper, we investigate the effects of class imbalance on the generalization performance of V-L models and extend Neural Collapse phenomenon to these models, revealing the geometric reasons behind the impact of class imbalance on their generalization ability. To address this problem, we propose Neural Collapse based Prompt Tuning (NPT), a novel method that optimizes prompts so that both text and image features satisfy the same simplex ETF structure. NPT incorporates two regularization terms, geometric de-biasing and multi-modal isomorphism, to enhance the robustness of V-L models under class imbalance conditions while maintaining their generalization capabilities. Our comprehensive experiments show that NPT outperforms existing prompt learning techniques across 11 diverse image recognition datasets, achieving an absolute average gain of 2.63% for novel classes and 2.47% for harmonic mean when facing imbalanced data.