対照的な自己教師あり学習により、ImageNetでの教師あり事前トレーニングとのギャップが大幅に狭まりました。ただし、その成功は、ImageNetのオブジェクト中心の優先順位に大きく依存しています。つまり、同じ画像の異なる拡張ビューが同じオブジェクトに対応します。多くのオブジェクトを含むより複雑なシーン画像で事前トレーニングを行うと、このように厳選された制約はすぐに実行不可能になります。この制限を克服するために、シーン画像に向けた新しい自己監視学習フレームワークであるオブジェクトレベル表現学習(ORL)を導入します。私たちの重要な洞察は、オブジェクトレベルの意味的対応を発見する前に、画像レベルの自己監視事前トレーニングを活用して、シーン画像から学習するオブジェクトレベルの表現を実現することです。 COCOでの広範な実験は、ORLがシーン画像の教師あり学習のパフォーマンスを大幅に向上させ、いくつかのダウンストリームタスクでの教師ありImageNetの事前トレーニングを上回っていることを示しています。さらに、ORLは、ラベルのないシーン画像がより多く利用できる場合にダウンストリームのパフォーマンスを向上させ、ラベルのないデータを実際に利用できる可能性が高いことを示しています。私たちのアプローチが、シーンデータから学習するより汎用的な教師なし表現に関する将来の研究の動機付けになることを願っています。
Contrastive self-supervised learning has largely narrowed the gap to supervised pre-training on ImageNet. However, its success highly relies on the object-centric priors of ImageNet, i.e., different augmented views of the same image correspond to the same object. Such a heavily curated constraint becomes immediately infeasible when pre-trained on more complex scene images with many objects. To overcome this limitation, we introduce Object-level Representation Learning (ORL), a new self-supervised learning framework towards scene images. Our key insight is to leverage image-level self-supervised pre-training as the prior to discover object-level semantic correspondence, thus realizing object-level representation learning from scene images. Extensive experiments on COCO show that ORL significantly improves the performance of self-supervised learning on scene images, even surpassing supervised ImageNet pre-training on several downstream tasks. Furthermore, ORL improves the downstream performance when more unlabeled scene images are available, demonstrating its great potential of harnessing unlabeled data in the wild. We hope our approach can motivate future research on more general-purpose unsupervised representation learning from scene data.