arXiv reaDer
Fine-grained Angular Contrastive Learning with Coarse Labels
いくつかのショットの学習方法は、1つまたはいくつかの例を使用して、モデルを新しいクラス(トレーニング中には見えない)に後で簡単に適応させるために最適化された事前トレーニング手法を提供します。目に見えないクラスへのこの適応性は、事前にトレーニングされたラベルスペースを効果的に使用するために固定したままにすることができず、モデルを「特殊化」して新しいカテゴリをオンザフライでサポートする必要がある多くの実用的なアプリケーションにとって特に重要です。数ショットの文献では本質的に見落とされている特に興味深いシナリオの1つは、Coarse-to-Fine Few-Shot(C2FS)です。このシナリオでは、トレーニングクラス(動物など)がターゲット(テスト)クラスよりもはるかに「粗い粒度」です(例:品種)。 C2FSの非常に実用的な例は、ターゲットクラスがトレーニングクラスのサブクラスである場合です。直感的には、(通常のショットと数ショットの両方の)教師あり事前トレーニングは、サブクラスの分離に不可欠なクラス内変動を無視することを学習する傾向があるため、特に困難です。このホワイトペーパーでは、教師ありと自己教師ありの対照的な事前トレーニングを効果的に組み合わせて、提案されたC2FSタスクにアプローチできる、新しい「角度正規化」モジュールを紹介します。これにより、複数のベースラインとデータセットにわたる広範な研究で大きなメリットが得られます。この作業が、C2FS分類のこの新しく、やりがいのある、非常に実用的なトピックに関する将来の研究への道を開くのに役立つことを願っています。
Few-shot learning methods offer pre-training techniques optimized for easier later adaptation of the model to new classes (unseen during training) using one or a few examples. This adaptivity to unseen classes is especially important for many practical applications where the pre-trained label space cannot remain fixed for effective use and the model needs to be "specialized" to support new categories on the fly. One particularly interesting scenario, essentially overlooked by the few-shot literature, is Coarse-to-Fine Few-Shot (C2FS), where the training classes (e.g. animals) are of much `coarser granularity' than the target (test) classes (e.g. breeds). A very practical example of C2FS is when the target classes are sub-classes of the training classes. Intuitively, it is especially challenging as (both regular and few-shot) supervised pre-training tends to learn to ignore intra-class variability which is essential for separating sub-classes. In this paper, we introduce a novel 'Angular normalization' module that allows to effectively combine supervised and self-supervised contrastive pre-training to approach the proposed C2FS task, demonstrating significant gains in a broad study over multiple baselines and datasets. We hope that this work will help to pave the way for future research on this new, challenging, and very practical topic of C2FS classification.
updated: Tue Jun 22 2021 09:39:03 GMT+0000 (UTC)
published: Mon Dec 07 2020 08:09:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト