自己監視は、自然言語処理、そして最近では画像認識で優れた結果を示しています。同時に、ビジョントランスフォーマーとそのバリアントは、さまざまなコンピュータービジョンタスクの畳み込みに代わる有望でスケーラブルな代替手段として登場しました。この論文では、自己監視型ビジョントランスフォーマー(SSL-ViT)を、低ラベル、高データレジームの2つの重要なコンピュータービジョンタスク(数ショットの画像分類とゼロショット)に適応させることができるかどうかを最初に質問します。画像検索。動機は、視覚的な埋め込みをトレーニングするために必要な手動の注釈の数を減らし、一般化可能で、意味的に意味のある、堅牢な埋め込みを生成することです。数ショットの画像分類では、外部データに対して監視なしでSSL-ViTをトレーニングし、このトレーニングされた埋め込みを使用して、ラベルの数が限られている新しいクラスにすばやく適応します。ゼロショット画像検索では、ラベルのない大規模なデータセットで事前トレーニングされたSSL-ViTを使用し、いくつかのメトリック学習目標でそれらを微調整します。私たちの自己監視による注意の表現は、両方のタスクのいくつかの公開ベンチマーク、つまり、最大6%〜10%の数ショットの画像分類のためのminiImageNetとCUB200、およびStanford Online Products、Cars196と最大4%〜11%のゼロショット画像検索用のCUB200。コードはhttps://github.com/AutoVision-cloud/SSL-ViT-lowlabel-highdataで入手できます。
Self-supervision has shown outstanding results for natural language processing, and more recently, for image recognition. Simultaneously, vision transformers and its variants have emerged as a promising and scalable alternative to convolutions on various computer vision tasks. In this paper, we are the first to question if self-supervised vision transformers (SSL-ViTs) can be adapted to two important computer vision tasks in the low-label, high-data regime: few-shot image classification and zero-shot image retrieval. The motivation is to reduce the number of manual annotations required to train a visual embedder, and to produce generalizable, semantically meaningful and robust embeddings. For few-shot image classification we train SSL-ViTs without any supervision, on external data, and use this trained embedder to adapt quickly to novel classes with limited number of labels. For zero-shot image retrieval, we use SSL-ViTs pre-trained on a large dataset without any labels and fine-tune them with several metric learning objectives. Our self-supervised attention representations outperforms the state-of-the-art on several public benchmarks for both tasks, namely miniImageNet and CUB200 for few-shot image classification by up-to 6%-10%, and Stanford Online Products, Cars196 and CUB200 for zero-shot image retrieval by up-to 4%-11%. Code is available at https://github.com/AutoVision-cloud/SSL-ViT-lowlabel-highdata.