arXiv reaDer
EqCo:自己教師あり対照学習の同等のルール
EqCo: Equivalent Rules for Self-supervised Contrastive Learning
この論文では、EqCo(対照学習の等価規則)という名前の方法を提案し、対照学習フレームワークの負のサンプルの数とは無関係に自己教師あり学習を作成します。 InfoMaxの原理に触発されて、対照的な損失のマージン項は、安定した相互情報量の限界と勾配の大きさを維持するために、負のペアの数に応じて適応的にスケーリングする必要があることを指摘します。 EqCoは、さまざまな負のサンプルサイズ間のパフォーマンスのギャップを埋めるため、少数の負のペア(クエリごとに16など)のみを使用して、ImageNetなどの大規模なビジョンデータセットで自己教師あり対照トレーニングを実行できます。精度の低下。これは、現在の慣行で広く使用されている大規模なバッチトレーニングまたはメモリバンクメカニズムとはまったく対照的です。 EqCoを搭載した、簡略化されたMoCo(SiMo)は、ImageNet(線形評価プロトコル)のMoCo v2と同等の精度を実現しますが、クエリごとに65536ではなく16のネガティブペアしか含まないため、大量のネガティブサンプルは対照的に重要な要素ではない可能性があります。学習フレームワーク。
In this paper, we propose a method, named EqCo (Equivalent Rules for Contrastive Learning), to make self-supervised learning irrelevant to the number of negative samples in the contrastive learning framework. Inspired by the InfoMax principle, we point that the margin term in contrastive loss needs to be adaptively scaled according to the number of negative pairs in order to keep steady mutual information bound and gradient magnitude. EqCo bridges the performance gap among a wide range of negative sample sizes, so that we can use only a few negative pairs (e.g. 16 per query) to perform self-supervised contrastive training on large-scale vision datasets like ImageNet, while with almost no accuracy drop. This is quite a contrast to the widely used large batch training or memory bank mechanism in current practices. Equipped with EqCo, our simplified MoCo (SiMo) achieves comparable accuracy with MoCo v2 on ImageNet (linear evaluation protocol) while only involves 16 negative pairs per query instead of 65536, suggesting that large quantities of negative samples might not be a critical factor in contrastive learning frameworks.
updated: Mon Nov 30 2020 11:20:23 GMT+0000 (UTC)
published: Mon Oct 05 2020 11:39:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト