クラス分布不一致の下での半教師あり学習 (SSL) は、ラベルなしデータにラベル付きデータには見られない未知のカテゴリが多数含まれているという困難な問題に取り組むことを目的としています。このような不一致シナリオでは、未知のカテゴリを持つインスタンスがターゲット分類子に有害に侵入するため、従来の SSL は深刻なパフォーマンスの損傷を受けます。この研究では、厳密な数学的推論により、クラス分布の不一致による SSL エラーが擬似ラベル付けエラーと侵入エラーで構成されており、その両方が SSL 集団リスクを共同で制限していることを明らかにしました。 SSL エラーを軽減するために、重みを考慮した蒸留 (WAD) と呼ばれる堅牢な SSL フレームワークを提案します。このフレームワークは、重みによって、教師なしの対比表現からターゲットのタスクに有益な知識を選択的にターゲットの分類器に転送します。具体的には、WAD は、表現空間内の点相互情報量 (PMI) を探索することにより、ターゲット インスタンスに対する適応重みと高品質の疑似ラベルをキャプチャして、ラベルなしデータの役割を最大化し、未知のカテゴリをフィルターします。理論的には、クラス分布の不一致の下で WAD には人口リスクの厳しい上限があることが証明されます。実験による広範な結果は、WAD が 2 つのベンチマーク データセット (CIFAR10 と CIFAR100)、および人工クロス データセットで 5 つの最先端の SSL アプローチと 1 つの標準ベースラインを上回るパフォーマンスを示していることを示しています。コードは https://github.com/RUC-DWBI-ML/research/tree/main/WAD-master で入手できます。
Semi-Supervised Learning (SSL) under class distribution mismatch aims to tackle a challenging problem wherein unlabeled data contain lots of unknown categories unseen in the labeled ones. In such mismatch scenarios, traditional SSL suffers severe performance damage due to the harmful invasion of the instances with unknown categories into the target classifier. In this study, by strict mathematical reasoning, we reveal that the SSL error under class distribution mismatch is composed of pseudo-labeling error and invasion error, both of which jointly bound the SSL population risk. To alleviate the SSL error, we propose a robust SSL framework called Weight-Aware Distillation (WAD) that, by weights, selectively transfers knowledge beneficial to the target task from unsupervised contrastive representation to the target classifier. Specifically, WAD captures adaptive weights and high-quality pseudo labels to target instances by exploring point mutual information (PMI) in representation space to maximize the role of unlabeled data and filter unknown categories. Theoretically, we prove that WAD has a tight upper bound of population risk under class distribution mismatch. Experimentally, extensive results demonstrate that WAD outperforms five state-of-the-art SSL approaches and one standard baseline on two benchmark datasets, CIFAR10 and CIFAR100, and an artificial cross-dataset. The code is available at https://github.com/RUC-DWBI-ML/research/tree/main/WAD-master.