半教師あり学習の分野における最近の進歩により、最先端の従来の教師あり学習方法と一致する結果が得られました。コンピュータビジョンで最も成功している半教師あり学習アプローチは、大量のラベルなしデータの活用、データ拡張と変換による一般的な表現の学習、疑似ラベルの作成、さまざまな損失関数の実装、そして最終的にはこの知識をよりタスク固有の小さなモデルに転送することに焦点を当てています。 。このホワイトペーパーでは、コンピュータビジョンの現在の最先端の半教師あり学習フレームワークであるSimCLRの3つの異なる側面について分析を行うことを目的としています。まず、コントラスト学習がこの方法を成功させる要因であると理解しているため、微調整でコントラスト学習の特性を分析します。第二に、教師を強制するパラダイムを通じて知識の蒸留を研究します。教師と生徒が同じ基本モデルを共有する場合、知識の蒸留がより良い結果を達成することがわかります。最後に、転移学習がどのように機能するか、およびさまざまなデータセットのクラス数との関係を研究します。私たちの結果は、クラスの数が少ないほど、転移学習のパフォーマンスが向上することを示しています。
Recent breakthroughs in the field of semi-supervised learning have achieved results that match state-of-the-art traditional supervised learning methods. Most successful semi-supervised learning approaches in computer vision focus on leveraging huge amount of unlabeled data, learning the general representation via data augmentation and transformation, creating pseudo labels, implementing different loss functions, and eventually transferring this knowledge to more task-specific smaller models. In this paper, we aim to conduct our analyses on three different aspects of SimCLR, the current state-of-the-art semi-supervised learning framework for computer vision. First, we analyze properties of contrast learning on fine-tuning, as we understand that contrast learning is what makes this method so successful. Second, we research knowledge distillation through teacher-forcing paradigm. We observe that when the teacher and the student share the same base model, knowledge distillation will achieve better result. Finally, we study how transfer learning works and its relationship with the number of classes on different data sets. Our results indicate that transfer learning performs better when number of classes are smaller.