arXiv reaDer
インスタンス識別を超えて: 関係を意識した対照的な自己教師あり学習
Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning
インスタンス識別に基づく対照的な自己教師あり学習 (CSL) は、通常、事前定義されたバイナリ自己教師による表現を学習するためにネガティブを撃退しながら、ポジティブ サンプルを引き付けます。ただし、バニラの CSL は、洗練されたインスタンス関係のモデル化には不十分であり、学習したモデルが細かい意味構造を保持するのに制限されます。一方で、同じセマンティック カテゴリのサンプルは必然的にネガとして押しのけられます。一方で、サンプル間の違いを捉えることはできません。この論文では、インスタンス関係、つまりグローバル分布関係とローカル補間関係をプラグアンドプレイ方式で CSL フレームワークに統合するための関係認識対照的自己教師あり学習 (ReCo) を提示します。具体的には、インスタンス間の多様な類似関係を利用するために、ポジティブ アンカー ビューとネガティブ アンカー ビューの間で計算された類似度分布をグローバル レベルで調整します。ピクセル空間と特徴空間の間の局所レベル補間の一貫性を適用して、明確な明らかな類似性を持つサンプルの特徴の違いを定量的にモデル化します。明示的なインスタンス関係モデリングを通じて、ReCo は意味的に同一のサンプルを不合理に押しのけることを回避し、適切に構造化された特徴空間を切り分けます。一般的に使用されるベンチマークで実施された広範な実験は、ReCo が一貫して顕著なパフォーマンスの向上を達成していることを正当化します。
Contrastive self-supervised learning (CSL) based on instance discrimination typically attracts positive samples while repelling negatives to learn representations with pre-defined binary self-supervision. However, vanilla CSL is inadequate in modeling sophisticated instance relations, limiting the learned model to retain fine semantic structure. On the one hand, samples with the same semantic category are inevitably pushed away as negatives. On the other hand, differences among samples cannot be captured. In this paper, we present relation-aware contrastive self-supervised learning (ReCo) to integrate instance relations, i.e., global distribution relation and local interpolation relation, into the CSL framework in a plug-and-play fashion. Specifically, we align similarity distributions calculated between the positive anchor views and the negatives at the global level to exploit diverse similarity relations among instances. Local-level interpolation consistency between the pixel space and the feature space is applied to quantitatively model the feature differences of samples with distinct apparent similarities. Through explicitly instance relation modeling, our ReCo avoids irrationally pushing away semantically identical samples and carves a well-structured feature space. Extensive experiments conducted on commonly used benchmarks justify that our ReCo consistently gains remarkable performance improvements.
updated: Wed Nov 02 2022 03:25:28 GMT+0000 (UTC)
published: Wed Nov 02 2022 03:25:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト