既存の数ショット分類法は、クロスエントロピー(CE)損失にある程度依存して、データが限られている目に見えないクラスへのテスト時間の適応を容易にする転送可能な表現を学習します。ただし、CEの損失にはいくつかの欠点があります。たとえば、表示されたクラスに対して過度の差別を伴う表現が発生し、表示されていないクラスへの転送可能性が低下し、一般化が最適化されなくなります。この作業では、より一般的で転送可能な機能を促進するためのデータ依存の正則化として機能する、追加の補助トレーニング目標として対照学習を調査します。局所的な識別機能を抑制する標準的な対照目的を使用する代わりに、局所的な識別機能とクラスにとらわれない機能を学習するための新しい注意ベースの空間対照目的を提案します。広範な実験により、提案された方法が最先端のアプローチよりも優れていることを示し、数ショットの学習のための優れた転送可能な埋め込みを学習することの重要性を確認します。
Existing few-shot classification methods rely to some degree on the cross-entropy (CE) loss to learn transferable representations that facilitate the test time adaptation to unseen classes with limited data. However, the CE loss has several shortcomings, e.g., inducing representations with excessive discrimination towards seen classes, which reduces their transferability to unseen classes and results in sub-optimal generalization. In this work, we explore contrastive learning as an additional auxiliary training objective, acting as a data-dependent regularizer to promote more general and transferable features. Instead of using the standard contrastive objective, which suppresses local discriminative features, we propose a novel attention-based spatial contrastive objective to learn locally discriminative and class-agnostic features. With extensive experiments, we show that the proposed method outperforms state-of-the-art approaches, confirming the importance of learning good and transferable embeddings for few-shot learning.