自己トレーニングから拡張された共同トレーニングは、半教師あり学習のフレームワークの1つです。これは、追加の分類器をトレーニングするという犠牲を払って機能します。アルゴリズムは、個々の分類器が互いに崩壊するのを防ぐように微妙に設計する必要があります。この論文では、半教師あり画像分類のための、Multi-HeadCo-Trainingという名前のシンプルで効率的な共同トレーニングアルゴリズムを紹介します。基本学習者をマルチヘッド構造に統合することにより、モデルは最小限の追加パラメーターになります。統合モデルのすべての分類責任者は、「弱くて強い増強」戦略を通じて仲間と対話し、多様性を明示的に促進することなく、単一ビューの共同トレーニングを実現します。マルチヘッド共同トレーニングの有効性は、標準的な半教師あり学習ベンチマークに関する実証的研究で実証されています。
Co-training, extended from self-training, is one of the frameworks for semi-supervised learning. It works at the cost of training extra classifiers, where the algorithm should be delicately designed to prevent individual classifiers from collapsing into each other. In this paper, we present a simple and efficient co-training algorithm, named Multi-Head Co-Training, for semi-supervised image classification. By integrating base learners into a multi-head structure, the model is in a minimal amount of extra parameters. Every classification head in the unified model interacts with its peers through a "Weak and Strong Augmentation" strategy, achieving single-view co-training without promoting diversity explicitly. The effectiveness of Multi-Head Co-Training is demonstrated in an empirical study on standard semi-supervised learning benchmarks.