arXiv reaDer
自己教師あり表現学習のためのホワイトニング
Whitening for Self-Supervised Representation Learning
現在の自己教師あり表現学習(SSL)手法のほとんどは、対照的な損失とインスタンス識別タスクに基づいており、同じ画像インスタンスの拡張バージョン(「ポジティブ」)が他の画像から抽出されたインスタンス(「ネガティブ」)と対比されます。 ")。学習を効果的にするためには、多くのネガティブをポジティブペアと比較する必要があります。これは計算量が多くなります。本論文では、潜在空間特徴の白色化に基づくSSLの異なる方向と新しい損失関数を提案する。ホワイトニング操作は、バッチサンプルに「散乱」効果をもたらし、すべてのサンプル表現が1つのポイントに崩壊する縮退したソリューションを回避します。私たちのソリューションは非対称ネットワークを必要とせず、概念的に単純です。さらに、ネガは必要ないので、同じ画像インスタンスから複数のポジティブペアを抽出できます。メソッドとすべての実験のソースコードは、https://github.com/htdt/self-supervisedで入手できます。
Most of the current self-supervised representation learning (SSL) methods are based on the contrastive loss and the instance-discrimination task, where augmented versions of the same image instance ("positives") are contrasted with instances extracted from other images ("negatives"). For the learning to be effective, many negatives should be compared with a positive pair, which is computationally demanding. In this paper, we propose a different direction and a new loss function for SSL, which is based on the whitening of the latent-space features. The whitening operation has a "scattering" effect on the batch samples, avoiding degenerate solutions where all the sample representations collapse to a single point. Our solution does not require asymmetric networks and it is conceptually simple. Moreover, since negatives are not needed, we can extract multiple positive pairs from the same image instance. The source code of the method and of all the experiments is available at: https://github.com/htdt/self-supervised.
updated: Fri May 14 2021 15:10:06 GMT+0000 (UTC)
published: Mon Jul 13 2020 12:33:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト