arXiv reaDer
Noise as a Resource for Learning in Knowledge Distillation
ノイズは一般にコンピューティングシステムの迷惑と見なされますが、神経科学の多くの研究では、脳が確率論的推論などの計算を実行できるようにすることや、刺激に関する追加情報を運ぶことから、神経系のノイズのいくつかの利点が示されています。同様に、ノイズはディープニューラルネットワークのパフォーマンスを向上させることが示されています。この研究では、脳領域の協調サブネットワークに類似しているため、知識蒸留フレームワークにノイズを追加することの影響をさらに調査します。共同学習フレームワークのさまざまなレベルで建設的なノイズを注入することで、モデルを効果的にトレーニングし、学生モデルで望ましい特性を抽出できることを経験的に示します。そうすることで、ディープニューラルネットワークの一般的な課題を対象とする3つの異なる方法を提案します。コンパクトモデルとラージモデル間のパフォーマンスギャップの最小化(Fickle Teacher)、高性能コンパクトな敵対的に堅牢なモデルのトレーニング(Soft Randomization)、およびトレーニングモデルです。ラベルノイズの下で効率的に(乱雑なコラボレーション)。私たちの調査結果は、共同学習フレームワークで学習するためのリソースとしてのノイズの役割に関するさらなる研究を動機付けます。
While noise is commonly considered a nuisance in computing systems, a number of studies in neuroscience have shown several benefits of noise in the nervous system from enabling the brain to carry out computations such as probabilistic inference as well as carrying additional information about the stimuli. Similarly, noise has been shown to improve the performance of deep neural networks. In this study, we further investigate the effect of adding noise in the knowledge distillation framework because of its resemblance to collaborative subnetworks in the brain regions. We empirically show that injecting constructive noise at different levels in the collaborative learning framework enables us to train the model effectively and distill desirable characteristics in the student model. In doing so, we propose three different methods that target the common challenges in deep neural networks: minimizing the performance gap between a compact model and large model (Fickle Teacher), training high performance compact adversarially robust models (Soft Randomization), and training models efficiently under label noise (Messy Collaboration). Our findings motivate further study in the role of noise as a resource for learning in a collaborative learning framework.
updated: Tue Dec 15 2020 11:52:30 GMT+0000 (UTC)
published: Fri Oct 11 2019 09:58:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト