機能ベースの学生-教師学習は、学生の隠された機能が教師ネットワークの機能を模倣するように促すトレーニング方法であり、事前にトレーニングされた教師ネットワークから学生ネットワークに知識を転送することに経験的に成功しています。さらに、最近の経験的結果は、生徒の入力サンプルがノイズによって破損している場合でも、教師の機能が生徒のネットワークの一般化を促進できることを示しています。しかし、知識を伝達するこの方法がそのような異種のタスク間で成功する理由と時期についての理論的洞察が不足しています。この方法は、深い線形ネットワークを使用して理論的に分析し、非線形ネットワークを使用して実験的に分析します。この方法を成功させるための3つの重要な要素を特定します。(1)学生がトレーニング損失をゼロにするようにトレーニングされているかどうか。 (2)教師がクリーン入力の問題についてどれだけ知識があるか。 (3)教師がその隠された特徴の中で知識をどのように分解するか。 3つの要因のいずれかが適切に管理されていないと、生徒と教師の学習方法が失敗します。
Feature-based student-teacher learning, a training method that encourages the student's hidden features to mimic those of the teacher network, is empirically successful in transferring the knowledge from a pre-trained teacher network to the student network. Furthermore, recent empirical results demonstrate that, the teacher's features can boost the student network's generalization even when the student's input sample is corrupted by noise. However, there is a lack of theoretical insights into why and when this method of transferring knowledge can be successful between such heterogeneous tasks. We analyze this method theoretically using deep linear networks, and experimentally using nonlinear networks. We identify three vital factors to the success of the method: (1) whether the student is trained to zero training loss; (2) how knowledgeable the teacher is on the clean-input problem; (3) how the teacher decomposes its knowledge in its hidden features. Lack of proper control in any of the three factors leads to failure of the student-teacher learning method.