この論文では、EqCo(対照学習の等価ルール)という名前の方法を提案し、InfoNCEベースの対照学習フレームワークの負のサンプルの数とは無関係に自己教師あり学習を作成します。 InfoMaxの原理に触発されて、対照的な損失のマージン項は、安定した相互情報量の限界と勾配の大きさを維持するために、負のペアの数に応じて適応的にスケーリングする必要があることを指摘します。 EqCoは、さまざまな負のサンプルサイズ間のパフォーマンスのギャップを埋めるため、ImageNetなどの大規模なビジョンデータセットで自己教師あり対照トレーニングを実行するために使用できる負のペアはごくわずかです(クエリごとに16など)。精度の低下。これは、現在の慣行で広く使用されている大規模なバッチトレーニングまたはメモリバンクメカニズムとはまったく対照的です。 EqCoを搭載した簡略化されたMoCo(SiMo)は、ImageNet(線形評価プロトコル)のMoCo v2と同等の精度を実現しますが、クエリごとに65536ではなく4つのネガティブペアしか含まないため、大量のネガティブサンプルはInfoNCEの重要な要素ではない可能性があります損失。
In this paper, we propose a method, named EqCo (Equivalent Rules for Contrastive Learning), to make self-supervised learning irrelevant to the number of negative samples in InfoNCE-based contrastive learning frameworks. Inspired by the InfoMax principle, we point that the margin term in contrastive loss needs to be adaptively scaled according to the number of negative pairs in order to keep steady mutual information bound and gradient magnitude. EqCo bridges the performance gap among a wide range of negative sample sizes, so that we can use only a few negative pairs (e.g. 16 per query) to perform self-supervised contrastive training on large-scale vision datasets like ImageNet, while with almost no accuracy drop. This is quite a contrast to the widely used large batch training or memory bank mechanism in current practices. Equipped with EqCo, our simplified MoCo (SiMo) achieves comparable accuracy with MoCo v2 on ImageNet (linear evaluation protocol) while only involves 4 negative pairs per query instead of 65536, suggesting that large quantities of negative samples might not be a critical factor in InfoNCE loss.