半教師あり学習に関する最近の研究では、ラベル付きデータとラベルなしデータの両方を活用することで目覚ましい進歩が見られましたが、それらのほとんどは、モデルの基本設定がランダムに初期化されていると想定しています。この作業では、半教師あり学習と転移学習を一緒に検討し、ソースドメインからの強力な事前トレーニング済みモデルと、ターゲットドメインのラベル付き/ラベルなしデータの両方を利用できる、より実用的で競争力のあるパラダイムを導きます。事前にトレーニングされた重みとラベルのないターゲットの例の両方の価値をより有効に活用するために、2つの補完的なコンポーネントで構成される適応整合性正則化を導入します。ソースモデルとターゲットモデル間の例の適応知識整合性(AKC)と適応表現整合性(ARC)です。 )ラベル付きの例とラベルなしの例の間のターゲットモデル。整合性の正則化に関係する例は、ターゲットタスクへの潜在的な貢献度に応じて適応的に選択されます。 ImageNetの事前トレーニング済みResNet-50モデルを微調整することにより、CUB-200-2011、MIT Indoor-67、MURAなどのいくつかの一般的なベンチマークで広範な実験を実施します。結果は、提案された適応整合性正則化が、疑似ラベル、平均教師、MixMatchなどの最先端の半教師あり学習手法よりも優れていることを示しています。さらに、私たちのアルゴリズムは既存のメソッドに直交しているため、MixMatchとFixMatchに加えて追加の改善を得ることができます。私たちのコードはhttps://github.com/SHI-Labs/Semi-Supervised-Transfer-Learningで入手できます。
While recent studies on semi-supervised learning have shown remarkable progress in leveraging both labeled and unlabeled data, most of them presume a basic setting of the model is randomly initialized. In this work, we consider semi-supervised learning and transfer learning jointly, leading to a more practical and competitive paradigm that can utilize both powerful pre-trained models from source domain as well as labeled/unlabeled data in the target domain. To better exploit the value of both pre-trained weights and unlabeled target examples, we introduce adaptive consistency regularization that consists of two complementary components: Adaptive Knowledge Consistency (AKC) on the examples between the source and target model, and Adaptive Representation Consistency (ARC) on the target model between labeled and unlabeled examples. Examples involved in the consistency regularization are adaptively selected according to their potential contributions to the target task. We conduct extensive experiments on several popular benchmarks including CUB-200-2011, MIT Indoor-67, MURA, by fine-tuning the ImageNet pre-trained ResNet-50 model. Results show that our proposed adaptive consistency regularization outperforms state-of-the-art semi-supervised learning techniques such as Pseudo Label, Mean Teacher, and MixMatch. Moreover, our algorithm is orthogonal to existing methods and thus able to gain additional improvements on top of MixMatch and FixMatch. Our code is available at https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning.