パフォーマンスを低下させることなく畳み込みニューラルネットワークをトレーニングするために必要なラベルの量を減らすことは、人間の注釈の労力を効果的に減らすための鍵です。非常に低い監視設定で半教師ありアルゴリズムのパフォーマンスを向上させる、教師なし事前処理アルゴリズムであるReliable Label Bootstrapping(ReLaB)を提案します。ラベル付けされたサンプルがほとんどないデータセットを前提として、最初に、データの意味のある自己教師あり潜在特徴を学習します。次に、ラベル伝播アルゴリズムは、教師なし機能で既知のラベルを伝播し、データセット全体に自動的に効果的にラベルを付けます。第三に、ラベルノイズ検出アルゴリズムを使用して、正しくラベル付けされた(信頼できる)サンプルのサブセットを選択します。最後に、拡張サブセットで半教師ありアルゴリズムをトレーニングします。ネットワークアーキテクチャの選択と自己監視アルゴリズムがラベル伝播を成功させるための重要な要素であることを示し、ReLaBがCIFAR-10、CIFAR-100、およびミニの非常に限定された監視のシナリオで半教師あり学習を大幅に改善することを示します。 ImageNet。 CIFAR-10のクラスごとに1つのランダムなラベル付きサンプルで22.34の平均エラー率に達し、各クラスのラベル付きサンプルが非常に代表的である場合、このエラーを8.46に下げます。私たちの仕事は完全に再現可能です:https://github.com/PaulAlbert31/ReLaB。
Reducing the amount of labels required to train convolutional neural networks without performance degradation is key to effectively reduce human annotation efforts. We propose Reliable Label Bootstrapping (ReLaB), an unsupervised preprossessing algorithm which improves the performance of semi-supervised algorithms in extremely low supervision settings. Given a dataset with few labeled samples, we first learn meaningful self-supervised, latent features for the data. Second, a label propagation algorithm propagates the known labels on the unsupervised features, effectively labeling the full dataset in an automatic fashion. Third, we select a subset of correctly labeled (reliable) samples using a label noise detection algorithm. Finally, we train a semi-supervised algorithm on the extended subset. We show that the selection of the network architecture and the self-supervised algorithm are important factors to achieve successful label propagation and demonstrate that ReLaB substantially improves semi-supervised learning in scenarios of very limited supervision on CIFAR-10, CIFAR-100 and mini-ImageNet. We reach average error rates of 22.34 with 1 random labeled sample per class on CIFAR-10 and lower this error to 8.46 when the labeled sample in each class is highly representative. Our work is fully reproducible: https://github.com/PaulAlbert31/ReLaB.