自己分類器を紹介します。これは、新しい自己監視型のエンドツーエンドの分類学習アプローチです。 Self-Classifierは、同じサンプルの2つの拡張ビューの同じクラスの予測を最適化することにより、単一ステージのエンドツーエンドの方法でラベルと表現を同時に学習します。非縮退ソリューション(つまり、すべてのラベルが同じクラスに割り当てられているソリューション)を保証するために、予測されたラベルに均一な事前確率が設定されている、数学的に動機付けられたクロスエントロピー損失のバリアントを提案します。私たちの理論的分析では、縮退したソリューションが私たちのアプローチの最適なソリューションのセットに含まれていないことを証明します。自己分類器は実装が簡単でスケーラブルです。他の一般的な教師なし分類および対照表現学習アプローチとは異なり、事前トレーニング、期待値最大化、疑似ラベル付け、外部クラスタリング、2番目のネットワーク、停止勾配操作、または負のペアは必要ありません。その単純さにもかかわらず、私たちのアプローチは、ImageNetの教師なし分類のための新しい最先端を設定します。さらに、教師なし表現学習の最先端の結果に匹敵する結果を達成します。コード:https://github.com/elad-amrani/self-classifier
We present Self-Classifier -- a novel self-supervised end-to-end classification learning approach. Self-Classifier learns labels and representations simultaneously in a single-stage end-to-end manner by optimizing for same-class prediction of two augmented views of the same sample. To guarantee non-degenerate solutions (i.e., solutions where all labels are assigned to the same class) we propose a mathematically motivated variant of the cross-entropy loss that has a uniform prior asserted on the predicted labels. In our theoretical analysis we prove that degenerate solutions are not in the set of optimal solutions of our approach. Self-Classifier is simple to implement and scalable. Unlike other popular unsupervised classification and contrastive representation learning approaches, it does not require any form of pre-training, expectation maximization, pseudo-labelling, external clustering, a second network, stop-gradient operation or negative pairs. Despite its simplicity, our approach sets a new state of the art for unsupervised classification of ImageNet; and even achieves comparable to state-of-the-art results for unsupervised representation learning. Code: https://github.com/elad-amrani/self-classifier