arXiv reaDer
ネガティブフリーの対照学習の解きほぐしに関する実証的研究
An Empirical Study on Disentanglement of Negative-free Contrastive Learning
ネガティブフリーの対照学習は、大規模な事前トレーニングのためのシンプルさと印象的なパフォーマンスで多くの注目を集めています。しかし、その解きほぐしの特性は未踏のままです。この論文では、このジャンルの自己監視法の解きほぐし特性を経験的に研究するために、さまざまなネガティブフリーの対照学習法を採用しています。既存の解きほぐしメトリックは、高次元表現モデルに対して意味のある測定を行うことができないことがわかったため、表現とデータ要因間の相互情報量に基づいた新しい解きほぐしメトリックを提案します。提案されたメトリックを使用して、人気のある合成データセットと実際のデータセットCelebAの両方で、ネガティブフリーの対照学習の解きほぐし特性を初めてベンチマークします。私たちの研究は、調査された方法が表現のよく解きほぐされたサブセットを学ぶことができることを示しています。解きほぐされた表現学習の研究を、初めて高次元表現空間とネガティブフリーの対照学習に拡張します。提案されたメトリックの実装は、https://github.com/noahcao/disentanglement_lib_medで入手できます。
Negative-free contrastive learning has attracted a lot of attention with simplicity and impressive performance for large-scale pretraining. But its disentanglement property remains unexplored. In this paper, we take different negative-free contrastive learning methods to study the disentanglement property of this genre of self-supervised methods empirically. We find the existing disentanglement metrics fail to make meaningful measurements for the high-dimensional representation model so we propose a new disentanglement metric based on Mutual Information between representation and data factors. With the proposed metric, we benchmark the disentanglement property of negative-free contrastive learning for the first time, on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. We extend the study of the disentangled representation learning to high-dimensional representation space and negative-free contrastive learning for the first time. The implementation of the proposed metric is available at https://github.com/noahcao/disentanglement_lib_med.
updated: Thu Jun 09 2022 20:25:34 GMT+0000 (UTC)
published: Thu Jun 09 2022 20:25:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト