arXiv reaDer
対照学習のための合成ハード ネガティブ サンプル
Synthetic Hard Negative Samples for Contrastive Learning
対照的な学習は、コンピューター ビジョンにおける自己教師あり学習の重要なアプローチとして浮上しています。対照学習の主な目的は、同じ画像の 2 つの拡張バージョン (正のペア) 間の類似性を最大化し、異なる画像 (負のペア) 間の類似性を最小化することです。最近の研究では、よりハードなネガティブ サンプル、つまりアンカー サンプルとの区別が難しいサンプルが、対照学習においてより重要な役割を果たすことが実証されています。このホワイト ペーパーでは、より効果的にハード ネガティブ サンプルを活用するために、新しい機能レベルの方法、つまり、対照学習用の合成ハード ネガティブ サンプルのサンプリング (SSCL) を提案します。具体的には、1) ネガティブ サンプルを混合してより多くのよりハードなネガティブ サンプルを生成し、アンカー サンプルと他のネガティブ サンプルのコントラストを制御してそれらをサンプリングします。 2) サンプリングによって得られた陰性サンプルには、偽陰性サンプルの問題がある可能性があることを考慮して、陰性サンプルのバイアスをさらに軽減します。提案された方法は、さまざまな画像データセットの分類パフォーマンスを向上させ、既存の方法に容易に適用できます。
Contrastive learning has emerged as an essential approach for self-supervised learning in computer vision. The central objective of contrastive learning is to maximize the similarities between two augmented versions of the same image (positive pairs), while minimizing the similarities between different images (negative pairs). Recent studies have demonstrated that harder negative samples, i.e., those that are difficult to distinguish from anchor sample, play a more critical role in contrastive learning. In this paper, we propose a novel featurelevel method, namely sampling synthetic hard negative samples for contrastive learning (SSCL), to exploit harder negative samples more effectively. Specifically, 1) we generate more and harder negative samples by mixing negative samples, and then sample them by controlling the contrast of anchor sample with the other negative samples. 2) Considering that the negative samples obtained by sampling may have the problem of false negative samples, we further debias the negative samples. Our proposed method improves the classification performance on different image datasets and can be readily applied to existing methods.
updated: Thu Apr 06 2023 09:54:35 GMT+0000 (UTC)
published: Thu Apr 06 2023 09:54:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト