arXiv reaDer
Search to Distill:真珠はどこにでもあるが目ではない
Search to Distill: Pearls are Everywhere but not the Eyes
 標準知識蒸留(KD)アプローチは、面倒な教師モデルの知識を、事前定義されたアーキテクチャを持つ学生モデルのパラメーターに抽出します。ただし、ニューラルネットワークの知識は、その入力に条件付けられたネットワークの出力分布によって表され、そのパラメーターだけでなく、そのアーキテクチャにも依存します。したがって、KDのより一般化されたアプローチは、教師の知識を学生のパラメーターとアーキテクチャの両方に抽出することです。これを実現するために、特定の教師モデルを抽出するのに最適な学生モデル(教師にとっては真珠)を見つける、新しいアーキテクチャ対応の知識蒸留(AKD)アプローチを紹介します。具体的には、KDガイドの報酬を備えたニューラルアーキテクチャ検索(NAS)を活用して、特定の教師に最適な学生アーキテクチャを検索します。実験結果は、提案されたAKDが一貫して従来のNASプラスKDアプローチよりも優れており、さまざまなレイテンシ設定でImageNet分類タスクの最新の結果を達成していることを示しています。さらに、ImageNet分類タスクに最適なAKD学生アーキテクチャは、100万レベルの顔認識やアンサンブル学習などの他のタスクにもうまく移行します。
Standard Knowledge Distillation (KD) approaches distill the knowledge of a cumbersome teacher model into the parameters of a student model with a pre-defined architecture. However, the knowledge of a neural network, which is represented by the network's output distribution conditioned on its input, depends not only on its parameters but also on its architecture. Hence, a more generalized approach for KD is to distill the teacher's knowledge into both the parameters and architecture of the student. To achieve this, we present a new Architecture-aware Knowledge Distillation (AKD) approach that finds student models (pearls for the teacher) that are best for distilling the given teacher model. In particular, we leverage Neural Architecture Search (NAS), equipped with our KD-guided reward, to search for the best student architectures for a given teacher. Experimental results show our proposed AKD consistently outperforms the conventional NAS plus KD approach, and achieves state-of-the-art results on the ImageNet classification task under various latency settings. Furthermore, the best AKD student architecture for the ImageNet classification task also transfers well to other tasks such as million level face recognition and ensemble learning.
updated: Tue Mar 17 2020 03:48:49 GMT+0000 (UTC)
published: Wed Nov 20 2019 18:19:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト