arXiv reaDer
EqCo: 自己教師あり対照学習の同等のルール
EqCo: Equivalent Rules for Self-supervised Contrastive Learning
この論文では、EqCo (Equivalent Rules for Contrastive Learning) を提案して、自己教師あり学習を対照学習フレームワークの負のサンプル数に無関係にすることを提案します。 InfoMax の原理に着想を得て、安定した相互情報の範囲と勾配の大きさを維持するために、対照損失のマージン項を負のペアの数に応じて適応的にスケーリングする必要があることを指摘します。 EqCo は、広範囲の負のサンプル サイズ間のパフォーマンス ギャップを埋めるため、初めて、少数の負のペア (たとえば、クエリごとに 16) のみを使用して、次のような大規模なビジョン データセットで自己教師付きの対照的なトレーニングを実行できます。 ImageNet でありながら、精度の低下はほとんどありません。これは、現在のプラクティスで広く使用されている大規模なバッチ トレーニングまたはメモリ バンク メカニズムとはまったく対照的です。 EqCo を搭載した簡略化された MoCo (SiMo) は、ImageNet 上の MoCov2 (線形評価プロトコル) と同等の精度を達成しますが、クエリごとに 65536 ではなく 16 のネガティブ ペアのみを含み、対照学習フレームワークでは大量のネガティブ サンプルが重要な要素ではないことを示唆しています。 .
In this paper, we propose EqCo (Equivalent Rules for Contrastive Learning) to make self-supervised learning irrelevant to the number of negative samples in the contrastive learning framework. Inspired by the InfoMax principle, we point that the margin term in contrastive loss needs to be adaptively scaled according to the number of negative pairs in order to keep steady mutual information bound and gradient magnitude. EqCo bridges the performance gap among a wide range of negative sample sizes, so that for the first time, we can use only a few negative pairs (e.g., 16 per query) to perform self-supervised contrastive training on large-scale vision datasets like ImageNet, while with almost no accuracy drop. This is quite a contrast to the widely used large batch training or memory bank mechanism in current practices. Equipped with EqCo, our simplified MoCo (SiMo) achieves comparable accuracy with MoCov2 on ImageNet (linear evaluation protocol) while only involves 16 negative pairs per query instead of 65536, suggesting that large quantities of negative samples is not a critical factor in contrastive learning frameworks.
updated: Sun Feb 26 2023 17:43:27 GMT+0000 (UTC)
published: Mon Oct 05 2020 11:39:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト