対照学習に基づく教師なし学習法は、ますます注目を集め、有望な結果を達成しています。それらのほとんどは、同じインスタンスの異なるビューによって提供されるインスタンスレベルのバリエーションに対して不変の表現を学習することを目的としています。この論文では、同じカテゴリの異なるインスタンスによって提供されるカテゴリレベルの変動に対して不変の表現の学習に焦点を当てるために、不変性の伝播を提案します。私たちの方法は、表現空間の同じ高密度領域に存在する意味的に一貫したサンプルを再帰的に検出します。アンカーサンプルとそのハードポジティブサンプル間の一致を最大化することに集中するためのハードサンプリング戦略を示します。これにより、クラス内のバリエーションが増え、より抽象的な不変性をキャプチャできるようになります。その結果、ResNet-50をバックボーンとして、ImageNet線形分類で71.3%のトップ1精度を達成し、わずか1%のラベルで78.2%のトップ5精度の微調整を達成し、以前の結果を上回りました。また、Places205とPascal VOCでの線形分類、小規模データセットでの転移学習など、他のダウンストリームタスクで最先端のパフォーマンスを実現します。
Unsupervised learning methods based on contrastive learning have drawn increasing attention and achieved promising results. Most of them aim to learn representations invariant to instance-level variations, which are provided by different views of the same instance. In this paper, we propose Invariance Propagation to focus on learning representations invariant to category-level variations, which are provided by different instances from the same category. Our method recursively discovers semantically consistent samples residing in the same high-density regions in representation space. We demonstrate a hard sampling strategy to concentrate on maximizing the agreement between the anchor sample and its hard positive samples, which provide more intra-class variations to help capture more abstract invariance. As a result, with a ResNet-50 as the backbone, our method achieves 71.3% top-1 accuracy on ImageNet linear classification and 78.2% top-5 accuracy fine-tuning on only 1% labels, surpassing previous results. We also achieve state-of-the-art performance on other downstream tasks, including linear classification on Places205 and Pascal VOC, and transfer learning on small scale datasets.