対照学習の最近の進歩は、教師なし表現学習に革命をもたらしました。具体的には、同じ画像からの複数のビュー(拡張)を同様の埋め込みにマッピングすることをお勧めしますが、異なる画像からのビューは引き離されます。この論文では、分類エラーを視覚化して診断することにより、現在の対照モデルが前景オブジェクトのローカライズに効果がなく、識別可能な高レベルの特徴を抽出する能力が制限されていることを確認します。これは、ビュー生成プロセスが画像内のピクセルを均一に考慮するためです。この問題に対処するために、背景に対する不変性を学習するためのデータ駆動型アプローチを提案します。最初に画像の前景の顕著性を推定し、次に前景をさまざまな背景にコピーして貼り付けることで拡張を作成します。学習は依然としてインスタンス識別口実タスクに従うため、表現は背景コンテンツを無視して前景に焦点を合わせるようにトレーニングされます。さまざまな顕著性推定方法を研究し、ほとんどの方法が対照学習の改善につながることを発見しました。このアプローチ(DiLo)を使用すると、ImageNet分類での自己教師あり学習、およびPASCALVOCとMSCOCOでのオブジェクト検出で大きなパフォーマンスが達成されます。
Recent progress in contrastive learning has revolutionized unsupervised representation learning. Concretely, multiple views (augmentations) from the same image are encouraged to map to the similar embeddings, while views from different images are pulled apart. In this paper, through visualizing and diagnosing classification errors, we observe that current contrastive models are ineffective at localizing the foreground object, limiting their ability to extract discriminative high-level features. This is due to the fact that view generation process considers pixels in an image uniformly. To address this problem, we propose a data-driven approach for learning invariance to backgrounds. It first estimates foreground saliency in images and then creates augmentations by copy-and-pasting the foreground onto a variety of backgrounds. The learning still follows the instance discrimination pretext task, so that the representation is trained to disregard background content and focus on the foreground. We study a variety of saliency estimation methods, and find that most methods lead to improvements for contrastive learning. With this approach (DiLo), significant performance is achieved for self-supervised learning on ImageNet classification, and also for object detection on PASCAL VOC and MSCOCO.