arXiv reaDer
対照学習のための合成ハード ネガティブ サンプル
Synthetic Hard Negative Samples for Contrastive Learning
対照的な学習は、視覚表現学習における自己教師あり学習の重要なアプローチとして浮上しています。対照学習の主な目的は、異なる画像 (負のペア) 間の類似性を最小限に抑えながら、画像の 2 つの拡張バージョン間の類似性 (正のペア) を最大化することです。最近の研究では、よりハードなネガティブ サンプル、つまりアンカー サンプルとの区別がより困難なサンプルほど、対照学習においてより重要な機能を果たすことが実証されています。この論文では、より効果的にハードネガティブサンプルを活用するために、新しい機能レベルの方法、つまり対照学習用の合成ハードネガティブサンプルのサンプリング (SSCL) を提案します。具体的には、1) ネガティブ サンプルを混合してより多くのよりハードなネガティブ サンプルを生成し、アンカー サンプルと他のネガティブ サンプルのコントラストを制御してそれらをサンプリングします。 2) 偽陰性サンプルの可能性を考慮して、陰性サンプルのバイアスをさらに軽減します。提案された方法は、さまざまな画像データセットの分類パフォーマンスを向上させ、既存の方法に容易に統合できます。
Contrastive learning has emerged as an essential approach for self-supervised learning in visual representation learning. The central objective of contrastive learning is to maximize the similarities between two augmented versions of an image (positive pairs), while minimizing the similarities between different images (negative pairs). Recent studies have demonstrated that harder negative samples, i.e., those that are more difficult to differentiate from the anchor sample, perform a more crucial function in contrastive learning. This paper proposes a novel feature-level method, namely sampling synthetic hard negative samples for contrastive learning (SSCL), to exploit harder negative samples more effectively. Specifically, 1) we generate more and harder negative samples by mixing negative samples, and then sample them by controlling the contrast of anchor sample with the other negative samples; 2) considering the possibility of false negative samples, we further debias the negative samples. Our proposed method improves the classification performance on different image datasets and can be readily integrated into existing methods.
updated: Mon Apr 17 2023 15:44:10 GMT+0000 (UTC)
published: Thu Apr 06 2023 09:54:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト