arXiv reaDer
FEED: Feature-level Ensemble for Knowledge Distillation
  Knowledge Distillation(KD)は、トレーニング段階で教師ネットワークの予測を学生ネットワークに提供し、学生ネットワークの一般化を支援することにより、教師と学生の枠組みで知識を伝達することを目的としています。大容量の教師を使用することも、{複数の教師の集合体を使用することもできます。ただし、後者は、機能マップベースの蒸留方法を使用する場合には便利ではありません。解決策として、このペーパーでは、複数の教師ネットワークを使用してアンサンブルの知識を伝達することを目的とする、知識蒸留のためのFEature-level Ensemble(FEED)という名前の多目的で強力なトレーニングアルゴリズムを提案します。アンサンブルの知識を機能マップレベルで学生に伝達するいくつかのトレーニングアルゴリズムを紹介します。機能マップベースの蒸留方法の中で、複数の教師の知識を伝達するためにいくつかの非線形変換を並行して使用すると、学生はより一般的なソリューションを見つけることができます。このメソッドをパラレルFEEDと名付け、CIFAR-100およびImageNetでの実験結果は、テスト時に追加のパラメーターや計算を導入することなく、このメソッドに明確なパフォーマンスの向上があることを示しています。また、教師の情報を生徒に順次供給する実験結果、したがって順次FEEDという名前を示し、得られた教訓について説明します。さらに、機能マップでの再構成エラーの測定に関する実験結果は、機能強化のヒントを提供します。
Knowledge Distillation (KD) aims to transfer knowledge in a teacher-student framework, by providing the predictions of the teacher network to the student network in the training stage to help the student network generalize better. It can use either a teacher with high capacity or {an ensemble of multiple teachers. However, the latter is not convenient when one wants to use feature-map-based distillation methods. For a solution, this paper proposes a versatile and powerful training algorithm named FEature-level Ensemble for knowledge Distillation (FEED), which aims to transfer the ensemble knowledge using multiple teacher networks. We introduce a couple of training algorithms that transfer ensemble knowledge to the student at the feature map level. Among the feature-map-based distillation methods, using several non-linear transformations in parallel for transferring the knowledge of the multiple teacher{s helps the student find more generalized solutions. We name this method as parallel FEED, andexperimental results on CIFAR-100 and ImageNet show that our method has clear performance enhancements, without introducing any additional parameters or computations at test time. We also show the experimental results of sequentially feeding teacher's information to the student, hence the name sequential FEED, and discuss the lessons obtained. Additionally, the empirical results on measuring the reconstruction errors at the feature map give hints for the enhancements.
updated: Tue Sep 24 2019 08:14:40 GMT+0000 (UTC)
published: Tue Sep 24 2019 08:14:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト