画像レベルの対照表現学習は、転移学習の一般的なモデルとして非常に効果的であることが証明されています。ただし、このような転移学習の一般性は、特定の下流のタスクに関心がある場合、特異性を犠牲にします。これは最適ではない可能性があるため、自己監視の口実タスクとダウンストリームタスクの間の調整を促進する設計原則を提唱していると私たちは主張します。このホワイトペーパーでは、この原則に従って、オブジェクト検出のタスク用に特別に設計された事前トレーニング方法を使用します。次の3つの側面で整合性を実現します。1)オブジェクトレベルの表現は、オブジェクト提案として選択的検索境界ボックスを介して導入されます。 2)事前トレーニングネットワークアーキテクチャには、検出パイプラインで使用されるものと同じ専用モジュール(FPNなど)が組み込まれています。 3)事前トレーニングには、オブジェクトレベルの並進不変性やスケール不変性などのオブジェクト検出プロパティが備わっています。 Selective Object COntrastive Learning(SoCo)と呼ばれる私たちの方法は、MaskR-CNNフレームワークを使用してCOCO検出の転送パフォーマンスに関する最先端の結果を実現します。コードはhttps://github.com/hologerry/SoCoで入手できます。
Image-level contrastive representation learning has proven to be highly effective as a generic model for transfer learning. Such generality for transfer learning, however, sacrifices specificity if we are interested in a certain downstream task. We argue that this could be sub-optimal and thus advocate a design principle which encourages alignment between the self-supervised pretext task and the downstream task. In this paper, we follow this principle with a pretraining method specifically designed for the task of object detection. We attain alignment in the following three aspects: 1) object-level representations are introduced via selective search bounding boxes as object proposals; 2) the pretraining network architecture incorporates the same dedicated modules used in the detection pipeline (e.g. FPN); 3) the pretraining is equipped with object detection properties such as object-level translation invariance and scale invariance. Our method, called Selective Object COntrastive learning (SoCo), achieves state-of-the-art results for transfer performance on COCO detection using a Mask R-CNN framework. Code is available at https://github.com/hologerry/SoCo.