本論文では、ロングテール認識に取り組むためのパラメトリック対照学習(PaCo)を提案する。理論的分析に基づいて、教師あり対照損失は高周波クラスにバイアスをかける傾向があり、したがって不均衡学習の難しさを増すことを観察します。最適化の観点からリバランスするために、パラメトリックなクラスごとに学習可能なセンターのセットを紹介します。さらに、バランスの取れた設定でPaCo損失を分析します。私たちの分析は、より多くのサンプルが対応するセンターと一緒に引き寄せられるので、PaCoが同じクラスのサンプルを近づける強度を適応的に強化し、難しい例の学習に役立つことを示しています。ロングテールCIFAR、ImageNet、Places、およびiNaturalist 2018での実験は、ロングテール認識のための新しい最先端技術を明らかにしています。完全なImageNetでは、PaCo損失でトレーニングされたモデルは、さまざまなResNetバックボーン全体で教師あり対照学習を上回ります。私たちのコードはhttps://github.com/jiequancui/Parametric-Contrastive-Learningで入手できます。
In this paper, we propose Parametric Contrastive Learning (PaCo) to tackle long-tailed recognition. Based on theoretical analysis, we observe supervised contrastive loss tends to bias on high-frequency classes and thus increases the difficulty of imbalance learning. We introduce a set of parametric class-wise learnable centers to rebalance from an optimization perspective. Further, we analyze our PaCo loss under a balanced setting. Our analysis demonstrates that PaCo can adaptively enhance the intensity of pushing samples of the same class close as more samples are pulled together with their corresponding centers and benefit hard example learning. Experiments on long-tailed CIFAR, ImageNet, Places, and iNaturalist 2018 manifest the new state-of-the-art for long-tailed recognition. On full ImageNet, models trained with PaCo loss surpass supervised contrastive learning across various ResNet backbones. Our code is available at https://github.com/jiequancui/Parametric-Contrastive-Learning.