インスタンス弁別口実タスクに基づく対照的な視覚的事前訓練は、大きな進歩を遂げました。特に、教師なし事前トレーニングに関する最近の作業は、オブジェクト検出やセグメンテーションなどのダウンストリームアプリケーションを微調整するための教師あり対応を上回っていることを示しています。転移学習のために画像注釈を未使用のままにしておく方がよいのは驚きです。この作業では、次の問題を調査します。インスタンス識別の事前トレーニングが転移学習に適している理由は何ですか。これらのモデルから実際にどのような知識が学習され、伝達されますか?インスタンスの識別に関するこの理解から、事前トレーニングのために人間の注釈ラベルをどのように活用できるでしょうか。私たちの調査結果は3つあります。まず、転送で本当に重要なのは、高レベルの表現ではなく、低レベルと中レベルの表現です。第2に、従来の教師ありモデルによって適用されるカテゴリ内の不変性は、タスクの不整合を増やすことによって転送可能性を弱めます。最後に、教師あり事前トレーニングは、同じカテゴリ内のインスタンス間の明示的な制約なしに、模範ベースのアプローチに従うことで強化できます。
Contrastive visual pretraining based on the instance discrimination pretext task has made significant progress. Notably, recent work on unsupervised pretraining has shown to surpass the supervised counterpart for finetuning downstream applications such as object detection and segmentation. It comes as a surprise that image annotations would be better left unused for transfer learning. In this work, we investigate the following problems: What makes instance discrimination pretraining good for transfer learning? What knowledge is actually learned and transferred from these models? From this understanding of instance discrimination, how can we better exploit human annotation labels for pretraining? Our findings are threefold. First, what truly matters for the transfer is low-level and mid-level representations, not high-level representations. Second, the intra-category invariance enforced by the traditional supervised model weakens transferability by increasing task misalignment. Finally, supervised pretraining can be strengthened by following an exemplar-based approach without explicit constraints among the instances within the same category.