arXiv reaDer
ネガティブフリー対照学習のもつれの解消に関する実証的研究
An Empirical Study on Disentanglement of Negative-free Contrastive Learning
ネガティブフリーの対照的な学習方法は、大規模な事前トレーニングのためのシンプルさと印象的なパフォーマンスで多くの注目を集めています。ただし、そのもつれを解くプロパティは未踏のままです。この論文では、経験的にほぐし特性を研究するためのネガティブフリー対照学習法を調べます。既存のもつれの解消メトリックは、高次元表現モデルに対して意味のある測定を行うことができないことがわかったので、潜在的な表現とデータ要素の間の相互情報に基づく新しいもつれの解消メトリックを提案します。この提案されたメトリクスを使用して、一般的な合成データセットと現実世界のデータセット CelebA の両方で、ネガティブフリーの対照学習のもつれを解く特性をベンチマークします。私たちの研究は、調査された方法が表現の十分に解きほぐされたサブセットを学習できることを示しています。私たちが知る限り、解きほぐされた表現学習の研究を高次元表現空間に拡張し、この分野にネガティブフリーの対照学習法を導入したのは私たちが初めてです。このホワイト ペーパーのソース コードは、https://github.com/noahcao/disentanglement_lib_med で入手できます。
Negative-free contrastive learning methods have attracted a lot of attention with simplicity and impressive performances for large-scale pretraining. However, its disentanglement property remains unexplored. In this paper, we examine negative-free contrastive learning methods to study the disentanglement property empirically. We find that existing disentanglement metrics fail to make meaningful measurements for high-dimensional representation models, so we propose a new disentanglement metric based on Mutual Information between latent representations and data factors. With this proposed metric, we benchmark the disentanglement property of negative-free contrastive learning on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. As far as we know, we are the first to extend the study of disentangled representation learning to high-dimensional representation space and introduce negative-free contrastive learning methods into this area. The source code of this paper is available at https://github.com/noahcao/disentanglement_lib_med.
updated: Sat Oct 15 2022 15:27:38 GMT+0000 (UTC)
published: Thu Jun 09 2022 20:25:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト