自己分類器を紹介します。これは、新しい自己教師ありエンドツーエンド分類ニューラルネットワークです。 Self-Classifierは、同じサンプルの2つの拡張ビューの同じクラスの予測を最適化することにより、単一ステージのエンドツーエンドの方法でラベルと表現を同時に学習します。非縮退ソリューション(つまり、すべてのラベルが同じクラスに割り当てられているソリューション)を保証するために、ラベルに均一な事前分布がアサートされます。通常のクロスエントロピー損失とは異なり、私たちのアプローチはそのような解決策を回避することを数学的に示します。自己分類器は実装が簡単で、実質的に無制限の量のデータにスケーラブルです。他の教師なし分類アプローチとは異なり、事前トレーニングや期待値最大化アルゴリズム、疑似ラベル付け、外部クラスタリングの使用は必要ありません。他の対照的な学習表現学習アプローチとは異なり、メモリバンクや2番目のネットワークは必要ありません。比較的単純であるにもかかわらず、私たちのアプローチは、教師なし分類と教師なし表現学習という2つの目的で、ImageNet、CIFAR10、およびCIFAR100を使用した最先端のパフォーマンスに匹敵する結果を達成します。さらに、これは、大規模なImageNetデータセットで良好に機能する最初の教師なしエンドツーエンド分類ネットワークです。コードが利用可能になります。
We present Self-Classifier -- a novel self-supervised end-to-end classification neural network. Self-Classifier learns labels and representations simultaneously in a single-stage end-to-end manner by optimizing for same-class prediction of two augmented views of the same sample. To guarantee non-degenerate solutions (i.e., solutions where all labels are assigned to the same class), a uniform prior is asserted on the labels. We show mathematically that unlike the regular cross-entropy loss, our approach avoids such solutions. Self-Classifier is simple to implement and is scalable to practically unlimited amounts of data. Unlike other unsupervised classification approaches, it does not require any form of pre-training or the use of expectation maximization algorithms, pseudo-labelling or external clustering. Unlike other contrastive learning representation learning approaches, it does not require a memory bank or a second network. Despite its relative simplicity, our approach achieves comparable results to state-of-the-art performance with ImageNet, CIFAR10 and CIFAR100 for its two objectives: unsupervised classification and unsupervised representation learning. Furthermore, it is the first unsupervised end-to-end classification network to perform well on the large-scale ImageNet dataset. Code will be made available.