きめ細かい画像分類には、非常に微妙な識別機能を持つクラスのさまざまなサブカテゴリを識別することが含まれます。きめ細かいデータセットは通常、分類のプロセスを支援するために、クラスラベルとともに境界ボックスの注釈を提供します。ただし、このようなアノテーションを使用して大規模なデータセットを構築することは、非常に大きな作業です。さらに、この広範なアノテーションには時間がかかり、専門知識が必要になることがよくあります。これは、大規模なデータセットを構築する際の大きなボトルネックです。一方、自己教師あり学習(SSL)は、自由に利用できるデータを利用して、ラベルとして機能する監視信号を生成します。ラベルのない巨大なデータに対していくつかの口実タスクを実行することによって学習された機能は、複数のダウンストリームタスクに非常に役立つことが証明されています。私たちのアイデアは、モデルがきめの細かい画像クラスの有用な表現を学習するように、自己監視を活用することです。口実課題としてのジグソー解法、敵対的学習(SRGAN)、対照学習ベース(SimCLR)の3種類のモデルを実験しました。学習した特徴は、きめ細かい画像分類などのダウンストリームタスクに使用されます。私たちのコードはhttp://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classificationで入手できます。
Fine-grained image classification involves identifying different subcategories of a class which possess very subtle discriminatory features. Fine-grained datasets usually provide bounding box annotations along with class labels to aid the process of classification. However, building large scale datasets with such annotations is a mammoth task. Moreover, this extensive annotation is time-consuming and often requires expertise, which is a huge bottleneck in building large datasets. On the other hand, self-supervised learning (SSL) exploits the freely available data to generate supervisory signals which act as labels. The features learnt by performing some pretext tasks on huge unlabelled data proves to be very helpful for multiple downstream tasks. Our idea is to leverage self-supervision such that the model learns useful representations of fine-grained image classes. We experimented with 3 kinds of models: Jigsaw solving as pretext task, adversarial learning (SRGAN) and contrastive learning based (SimCLR) model. The learned features are used for downstream tasks such as fine-grained image classification. Our code is available at http://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classification