半教師あり学習は、ラベルのないデータを活用してラベルの付いたデータへの依存を減らすための効果的なパラダイムです。支配的なアプローチを統合し、それらの制限に対処する新しい半教師あり学習方法であるCoMatchを提案します。 CoMatchは、トレーニングデータの2つの表現、クラス確率と低次元埋め込みを共同で学習します。 2つの表現は互いに相互作用して、共同で進化します。埋め込みは、疑似ラベルを改善するためにクラス確率に滑らかさの制約を課しますが、疑似ラベルは、グラフベースの対照学習を通じて埋め込みの構造を正規化します。 CoMatchは、複数のデータセットで最先端のパフォーマンスを実現します。ラベルの少ないCIFAR-10およびSTL-10で大幅な精度の向上を実現します。ラベルが1%のImageNetでは、CoMatchは66.0%のトップ1精度を達成し、FixMatchを12.6%上回っています。さらに、CoMatchは、教師あり学習と自己教師あり学習の両方を上回り、ダウンストリームタスクでより優れた表現学習パフォーマンスを実現します。コードと事前トレーニング済みモデルは、https://github.com/salesforce/CoMatchで入手できます。
Semi-supervised learning has been an effective paradigm for leveraging unlabeled data to reduce the reliance on labeled data. We propose CoMatch, a new semi-supervised learning method that unifies dominant approaches and addresses their limitations. CoMatch jointly learns two representations of the training data, their class probabilities and low-dimensional embeddings. The two representations interact with each other to jointly evolve. The embeddings impose a smoothness constraint on the class probabilities to improve the pseudo-labels, whereas the pseudo-labels regularize the structure of the embeddings through graph-based contrastive learning. CoMatch achieves state-of-the-art performance on multiple datasets. It achieves substantial accuracy improvements on the label-scarce CIFAR-10 and STL-10. On ImageNet with 1% labels, CoMatch achieves a top-1 accuracy of 66.0%, outperforming FixMatch by 12.6%. Furthermore, CoMatch achieves better representation learning performance on downstream tasks, outperforming both supervised learning and self-supervised learning. Code and pre-trained models are available at https://github.com/salesforce/CoMatch.