一般的な視覚表現学習のための相互対照学習(MCL)と呼ばれる共同学習方法を提示します。 MCLの中心的な考え方は、モデルのコホート間で相互作用と対照的な分布の転送を実行することです。 MCLの恩恵を受けて、各モデルは他のモデルからさらに対照的な知識を学ぶことができ、視覚認識タスクのためのより意味のある特徴表現につながります。 MCLは概念的に単純でありながら、経験的に強力であることを強調します。これは、教師あり表現学習と自己教師あり表現学習の両方に適用できる一般的なフレームワークです。教師ありおよび自己教師あり画像分類、転送学習、および数ショット学習に関する実験結果は、MCLが一貫したパフォーマンスの向上につながる可能性があることを示しており、MCLがネットワークをガイドしてより良い特徴表現を生成できることを示しています。
We present a collaborative learning method called Mutual Contrastive Learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of models. Benefiting from MCL, each model can learn extra contrastive knowledge from others, leading to more meaningful feature representations for visual recognition tasks. We emphasize that MCL is conceptually simple yet empirically powerful. It is a generic framework that can be applied to both supervised and self-supervised representation learning. Experimental results on supervised and self-supervised image classification, transfer learning and few-shot learning show that MCL can lead to consistent performance gains, demonstrating that MCL can guide the network to generate better feature representations.