arXiv reaDer
イメージングにおける自己監視学習の洗練:線形メトリックを超えて
Refining Self-Supervised Learning in Imaging: Beyond Linear Metric
この論文では、自己監視対照学習の喪失において非線形特徴を効果的に呼び出すための測定ベースの測定基準として、Jaccard類似性測定基準を利用する新しい統計的視点を紹介します。具体的には、提案されたメトリックは、いわゆる潜在表現から学習された2つの適応された予測間の依存性の尺度として解釈される可能性があります。これは、相関情報を説明する従来の対照学習モデルの余弦類似度測定とは対照的です。私たちの知る限りでは、Jaccardの類似性に埋め込まれたこの効果的に非線形に融合された情報は、有望な結果を伴う自己監視学習にとって斬新です。提案されたアプローチは、3つの画像データセットでの2つの最先端の自己監視対照学習法と比較されます。現在のMLの問題に適用できることを示すだけでなく、パフォーマンスとトレーニングの効率も向上しています。
We introduce in this paper a new statistical perspective, exploiting the Jaccard similarity metric, as a measure-based metric to effectively invoke non-linear features in the loss of self-supervised contrastive learning. Specifically, our proposed metric may be interpreted as a dependence measure between two adapted projections learned from the so-called latent representations. This is in contrast to the cosine similarity measure in the conventional contrastive learning model, which accounts for correlation information. To the best of our knowledge, this effectively non-linearly fused information embedded in the Jaccard similarity, is novel to self-supervision learning with promising results. The proposed approach is compared to two state-of-the-art self-supervised contrastive learning methods on three image datasets. We not only demonstrate its amenable applicability in current ML problems, but also its improved performance and training efficiency.
updated: Thu Oct 13 2022 17:05:42 GMT+0000 (UTC)
published: Fri Feb 25 2022 19:25:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト