自己教師あり学習は、ラベルのない画像での表現学習の強力なパラダイムです。インスタンスマッチングに基づく効果的な新しい方法の豊富さは、学習を促進するためにデータ拡張に依存しており、これらは、一般的な認識ベンチマークを最適化する拡張スキームについて大まかな合意に達しました。ただし、コンピュータビジョンのさまざまなタスクには、さまざまな(不)分散をエンコードする機能が必要であり、したがって、さまざまな拡張戦略が必要になる可能性が高いと疑う強い理由があります。この論文では、対照的な方法で学習した不変性を測定し、使用した拡張に対する不変性を学習することを確認し、さらに、この不変性がポーズと照明の関連する実世界の変化に大きく移行することを示します。学習した不変性がダウンストリームタスクのパフォーマンスに強く影響することを示し、さまざまなダウンストリームタスクが極性の反対の(不)分散の恩恵を受け、標準の拡張戦略を使用するとパフォーマンスが低下することを確認します。最後に、補完的な不変性を備えた表現の単純な融合により、検討されているすべての多様なダウンストリームタスクへの幅広い転送可能性が保証されることを示します。
Self-supervised learning is a powerful paradigm for representation learning on unlabelled images. A wealth of effective new methods based on instance matching rely on data augmentation to drive learning, and these have reached a rough agreement on an augmentation scheme that optimises popular recognition benchmarks. However, there is strong reason to suspect that different tasks in computer vision require features to encode different (in)variances, and therefore likely require different augmentation strategies. In this paper, we measure the invariances learned by contrastive methods and confirm that they do learn invariance to the augmentations used and further show that this invariance largely transfers to related real-world changes in pose and lighting. We show that learned invariances strongly affect downstream task performance and confirm that different downstream tasks benefit from polar opposite (in)variances, leading to performance loss when the standard augmentation strategy is used. Finally, we demonstrate that a simple fusion of representations with complementary invariances ensures wide transferability to all the diverse downstream tasks considered.