arXiv reaDer
Self-Damaging Contrastive Learning
対照学習によって達成された最近のブレークスルーは、実世界のデータ アプリケーションに教師なしトレーニングを展開するペースを加速させています。ただし、実際のラベル付けされていないデータは一般的に不均衡であり、ロングテール分布を示しており、最新の対照的な学習方法が実際のシナリオでどれほど堅牢に機能するかは不明です。この論文は、自己損傷対照学習 (SDCLR) と呼ばれる原理的なフレームワークを介して、この課題に明示的に取り組み、クラスを知らなくても表現学習のバランスを自動的に取ることを提案しています。私たちの主なインスピレーションは、ディープ モデルには記憶が難しいサンプルがあり、ネットワーク プルーニングによって公開される可能性があるという最近の発見から得られたものです。さらに、例が不十分なため、ロングテール サンプルの方がモデルの学習が困難であると仮定するのも自然です。したがって、SDCLR の主要な革新は、ターゲット モデルと対照的な動的な自己競合モデルを作成することです。これは、ターゲット モデルの剪定バージョンです。トレーニング中に 2 つのモデルを比較すると、現在のターゲット モデルの最も忘れられやすいサンプルの適応オンライン マイニングが行われ、対照的な損失でそれらが暗黙的に強調されます。複数のデータセットと不均衡設定にわたる広範な実験は、SDCLR が全体的な精度だけでなく、フルショットと少数ショットの設定での線形評価の点でバランスを大幅に改善することを示しています。私たちのコードは で入手できます。
The recent breakthrough achieved by contrastive learning accelerates the pace for deploying unsupervised training on real-world data applications. However, unlabeled data in reality is commonly imbalanced and shows a long-tail distribution, and it is unclear how robustly the latest contrastive learning methods could perform in the practical scenario. This paper proposes to explicitly tackle this challenge, via a principled framework called Self-Damaging Contrastive Learning (SDCLR), to automatically balance the representation learning without knowing the classes. Our main inspiration is drawn from the recent finding that deep models have difficult-to-memorize samples, and those may be exposed through network pruning. It is further natural to hypothesize that long-tail samples are also tougher for the model to learn well due to insufficient examples. Hence, the key innovation in SDCLR is to create a dynamic self-competitor model to contrast with the target model, which is a pruned version of the latter. During training, contrasting the two models will lead to adaptive online mining of the most easily forgotten samples for the current target model, and implicitly emphasize them more in the contrastive loss. Extensive experiments across multiple datasets and imbalance settings show that SDCLR significantly improves not only overall accuracies but also balancedness, in terms of linear evaluation on the full-shot and few-shot settings. Our code is available at:
updated: Sun Jun 06 2021 00:04:49 GMT+0000 (UTC)
published: Sun Jun 06 2021 00:04:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト