ディープニューラルネットワークは、多数のラベル付きの例でトレーニングすると最先端の結果を生成しますが、トレーニングに少量のラベル付きの例を使用すると過剰適合する傾向があります。ラベル付きの例を多数作成するには、かなりのリソース、時間、および労力が必要です。新しいデータにラベルを付けることが不可能な場合、いわゆる半教師あり学習は、ラベルのないインスタンスとラベルの付いたインスタンスを使用することにより、純粋な教師あり学習よりも優れた一般化を実現できます。このホワイトペーパーで紹介する作業は、転移学習が、同様のドメインで事前トレーニングされたモデルを活用することで、パフォーマンスをさらに向上させる可能性があるという観察に基づいています。より具体的には、自己学習を使用して半教師あり学習を実行する際の転移学習の使用を検討します。主な貢献は、半教師あり学習における類似性メトリック学習方法とラベル伝播アルゴリズムのさまざまな組み合わせを使用した転移学習の経験的評価です。ニューラルネットワークのトレーニングに使用される損失のタイプに関係なく、ラベル付けされた例がほとんどない場合、転移学習は常にモデルの精度を大幅に向上させることがわかります。この発見は、SVHN、CIFAR10、およびPlant Villageの画像分類データセットで広範な実験を実行し、転送学習のためにImagenetから事前にトレーニングされた重みを適用することによって得られます。
Deep neural networks produce state-of-the-art results when trained on a large number of labeled examples but tend to overfit when small amounts of labeled examples are used for training. Creating a large number of labeled examples requires considerable resources, time, and effort. If labeling new data is not feasible, so-called semi-supervised learning can achieve better generalisation than purely supervised learning by employing unlabeled instances as well as labeled ones. The work presented in this paper is motivated by the observation that transfer learning provides the opportunity to potentially further improve performance by exploiting models pretrained on a similar domain. More specifically, we explore the use of transfer learning when performing semi-supervised learning using self-learning. The main contribution is an empirical evaluation of transfer learning using different combinations of similarity metric learning methods and label propagation algorithms in semi-supervised learning. We find that transfer learning always substantially improves the model's accuracy when few labeled examples are available, regardless of the type of loss used for training the neural network. This finding is obtained by performing extensive experiments on the SVHN, CIFAR10, and Plant Village image classification datasets and applying pretrained weights from Imagenet for transfer learning.