以前の自己監視学習研究は、主に画像レベルのインスタンス識別を口実タスクとして選択しました。教師あり学習方法に匹敵する素晴らしい分類パフォーマンスを実現します。ただし、オブジェクト検出などのダウンストリームタスクでの転送パフォーマンスが低下します。パフォーマンスのギャップを埋めるために、ダウンストリームバックグラウンド不変性(CoDo)を使用した対照学習と呼ばれる新しいオブジェクトレベルの自己監視学習方法を提案します。口実タスクは、さまざまな背景、特にダウンストリームデータセットのインスタンスロケーションモデリングに焦点を当てるように変換されます。背景不変性の能力は、物体検出に不可欠であると考えられています。最初に、データ拡張戦略を提案して、インスタンスを背景画像に貼り付け、次にバウンディングボックスをジッターして背景情報を含めます。次に、事前トレーニングネットワークと主流の検出パイプラインの間にアーキテクチャの調整を実装します。第三に、階層的およびマルチビューの対照的な学習は、視覚的表現学習のパフォーマンスを向上させるように設計されています。 MSCOCOでの実験は、共通のバックボーンを備えた提案されたCoDo、ResNet50-FPNが、オブジェクト検出のための強力な伝達学習結果をもたらすことを示しています。
The prior self-supervised learning researches mainly select image-level instance discrimination as pretext task. It achieves a fantastic classification performance that is comparable to supervised learning methods. However, with degraded transfer performance on downstream tasks such as object detection. To bridge the performance gap, we propose a novel object-level self-supervised learning method, called Contrastive learning with Downstream background invariance (CoDo). The pretext task is converted to focus on instance location modeling for various backgrounds, especially for downstream datasets. The ability of background invariance is considered vital for object detection. Firstly, a data augmentation strategy is proposed to paste the instances onto background images, and then jitter the bounding box to involve background information. Secondly, we implement architecture alignment between our pretraining network and the mainstream detection pipelines. Thirdly, hierarchical and multi views contrastive learning is designed to improve performance of visual representation learning. Experiments on MSCOCO demonstrate that the proposed CoDo with common backbones, ResNet50-FPN, yields strong transfer learning results for object detection.