ラベル付けされたデータをほとんど使用せずに学習することは、コンピュータービジョンおよび機械学習の研究コミュニティでは長年の問題でした。この論文では、意味的類似性とインスタンス類似性を同時に考慮する、新しい半教師あり学習フレームワークであるSimMatchを紹介しました。 SimMatchでは、整合性の正則化はセマンティックレベルとインスタンスレベルの両方に適用されます。同じインスタンスの異なる拡張ビューは、他のインスタンスに関して同じクラス予測と類似の類似関係を持つことが推奨されます。次に、ラベル付きメモリバッファーをインスタンス化して、インスタンスレベルでグラウンドトゥルースラベルを完全に活用し、セマンティックとインスタンスの類似性の間のギャップを埋めます。最後に、これら2つの類似点を互いに同形に変換できるようにする展開および集約操作を提案しました。このようにして、セマンティックラベルとインスタンス疑似ラベルを相互に伝播して、より高品質で信頼性の高いマッチングターゲットを生成できます。広範な実験結果は、SimMatchがさまざまなベンチマークデータセットとさまざまな設定にわたって半教師あり学習タスクのパフォーマンスを向上させることを示しています。特に、400エポックのトレーニングでSimMatchは67.2%、74.4%のトップ1精度を達成し、ImageNetの1%と10%のラベル付きの例は、ベースラインの方法を大幅に上回り、以前の半教師あり学習フレームワークよりも優れています。コードと事前トレーニング済みモデルは、https://github.com/KyleZheng1997/simmatchで入手できます。
Learning with few labeled data has been a longstanding problem in the computer vision and machine learning research community. In this paper, we introduced a new semi-supervised learning framework, SimMatch, which simultaneously considers semantic similarity and instance similarity. In SimMatch, the consistency regularization will be applied on both semantic-level and instance-level. The different augmented views of the same instance are encouraged to have the same class prediction and similar similarity relationship respected to other instances. Next, we instantiated a labeled memory buffer to fully leverage the ground truth labels on instance-level and bridge the gaps between the semantic and instance similarities. Finally, we proposed the unfolding and aggregation operation which allows these two similarities be isomorphically transformed with each other. In this way, the semantic and instance pseudo-labels can be mutually propagated to generate more high-quality and reliable matching targets. Extensive experimental results demonstrate that SimMatch improves the performance of semi-supervised learning tasks across different benchmark datasets and different settings. Notably, with 400 epochs of training, SimMatch achieves 67.2%, and 74.4% Top-1 Accuracy with 1% and 10% labeled examples on ImageNet, which significantly outperforms the baseline methods and is better than previous semi-supervised learning frameworks. Code and pre-trained models are available at https://github.com/KyleZheng1997/simmatch.