統計的依存性の観点から画像表現の自己監視学習にアプローチし、ヒルベルト・シュミット独立基準(SSL-HSIC)を使用した自己監視学習を提案します。 SSL-HSICは、画像の変換の表現と画像のアイデンティティの間の依存関係を最大化すると同時に、それらの表現のカーネル化された分散を最小化します。このフレームワークにより、異なる変換間の相互情報量(MI)の変動下限であるInfoNCEの新しい理解が得られます。 MI自体には、意味のない表現を学習する可能性のある病状があることが知られていますが、その限界ははるかに適切に動作します。SSL-HSICを暗黙的に近似することを示します(わずかに異なる正則化を使用)。 SSL-HSICも同様にサンプルのローカル近傍を学習するため、このアプローチでは、ネガティブフリーのSSLメソッドであるBYOLについての洞察も得られます。 SSL-HSICを使用すると、制限的なデータの仮定や間接的な相互情報量の推定を行うことなく、バッチサイズの時間線形における統計的依存性を直接最適化できます。ターゲットネットワークの有無にかかわらずトレーニングされたSSL-HSICは、ImageNetでの標準的な線形評価、半教師あり学習、およびセマンティックセグメンテーション、深度推定、オブジェクト認識などの他の分類およびビジョンタスクへの転送のために現在の最先端技術と一致します。コードはhttps://github.com/deepmind/ssl_hsicで入手できます。
We approach self-supervised learning of image representations from a statistical dependence perspective, proposing Self-Supervised Learning with the Hilbert-Schmidt Independence Criterion (SSL-HSIC). SSL-HSIC maximizes dependence between representations of transformations of an image and the image identity, while minimizing the kernelized variance of those representations. This framework yields a new understanding of InfoNCE, a variational lower bound on the mutual information (MI) between different transformations. While the MI itself is known to have pathologies which can result in learning meaningless representations, its bound is much better behaved: we show that it implicitly approximates SSL-HSIC (with a slightly different regularizer). Our approach also gives us insight into BYOL, a negative-free SSL method, since SSL-HSIC similarly learns local neighborhoods of samples. SSL-HSIC allows us to directly optimize statistical dependence in time linear in the batch size, without restrictive data assumptions or indirect mutual information estimators. Trained with or without a target network, SSL-HSIC matches the current state-of-the-art for standard linear evaluation on ImageNet, semi-supervised learning and transfer to other classification and vision tasks such as semantic segmentation, depth estimation and object recognition. Code is available at https://github.com/deepmind/ssl_hsic .