対照学習は、ラベル付けされたデータなしで有用な表現を学習できるため、機械学習で最も急速に成長している研究分野の1つです。ただし、対照学習は特徴抑制の影響を受けやすく、つまり、関心のあるタスクに関連する重要な情報を破棄し、無関係な特徴を学習する可能性があります。過去の研究では、無関係な情報を排除する手作りのデータ拡張によってこの制限に対処してきました。ただし、このアプローチは、すべてのデータセットとタスクで機能するわけではありません。さらに、1つの属性が他の属性に関連する機能を抑制できる場合、データ拡張は複数属性分類の機能抑制に対処できません。この論文では、対照学習の目的関数を分析し、それが特徴抑制に対して脆弱であることを正式に証明します。次に、特徴抑制に対してロバストな教師なし表現を学習するためのフレームワークである予測対照学習(PCL)を紹介します。重要なアイデアは、学習した表現に入力を予測させ、重要な情報が破棄されないようにすることです。広範な実験により、PCLは機能抑制に対してロバストであり、さまざまなデータセットやタスクで最先端の対照学習手法よりも優れていることが確認されています。
Contrastive learning is one of the fastest growing research areas in machine learning due to its ability to learn useful representations without labeled data. However, contrastive learning is susceptible to feature suppression, i.e., it may discard important information relevant to the task of interest, and learn irrelevant features. Past work has addressed this limitation via handcrafted data augmentations that eliminate irrelevant information. This approach however does not work across all datasets and tasks. Further, data augmentations fail in addressing feature suppression in multi-attribute classification when one attribute can suppress features relevant to other attributes. In this paper, we analyze the objective function of contrastive learning and formally prove that it is vulnerable to feature suppression. We then present predictive contrastive learning (PCL), a framework for learning unsupervised representations that are robust to feature suppression. The key idea is to force the learned representation to predict the input, and hence prevent it from discarding important information. Extensive experiments verify that PCL is robust to feature suppression and outperforms state-of-the-art contrastive learning methods on a variety of datasets and tasks.