arXiv reaDer
教師あり対照学習
Supervised Contrastive Learning
自己教師あり表現学習に適用される対照学習は、近年復活し、深い画像モデルの教師なしトレーニングで最先端のパフォーマンスをもたらしています。最新のバッチ対照アプローチは、トリプレット、最大マージン、Nペア損失などの従来の対照損失を包含または大幅に上回っています。この作業では、自己教師ありバッチ対照アプローチを完全教師あり設定に拡張し、ラベル情報を効果的に活用できるようにします。同じクラスに属するポイントのクラスターは、埋め込みスペースにまとめられ、同時に異なるクラスのサンプルのクラスターを押し離します。教師あり対照(SupCon)損失の2つの可能なバージョンを分析し、損失の最もパフォーマンスの高い定式化を特定します。 ResNet-200では、ImageNetデータセットでトップ1の精度81.4%を達成しています。これは、このアーキテクチャで報告されている最高の数値を0.8%上回っています。他のデータセットと2つのResNetバリアントで、クロスエントロピーに対して一貫したアウトパフォーマンスを示しています。この損失は、自然な破損に対する堅牢性の利点を示し、オプティマイザやデータ拡張などのハイパーパラメータ設定に対してより安定しています。損失関数の実装は簡単で、参照TensorFlowコードはhttps://t.ly/supconでリリースされています。
Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the ImageNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement, and reference TensorFlow code is released at https://t.ly/supcon.
updated: Thu Dec 10 2020 22:25:05 GMT+0000 (UTC)
published: Thu Apr 23 2020 17:58:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト