arXiv reaDer
Excitation Dropout: Encouraging Plasticity in Deep Neural Networks
特定のパスでのニューロンの発火として定義されたネットワーク予測の証拠に基づいて、ディープネットワーク用のガイド付きドロップアウト正則化を提案します。この作業では、標準のドロップアウトのようにニューロンをランダムに均一にドロップアウトするのではなく、各ニューロンの証拠を利用してドロップアウトの確率を決定します。本質的に、トレーニング時の意思決定に貢献するニューロンをより高い確率でドロップアウトします。このアプローチは、モデル予測に最も関連する高顕著性ニューロン、つまりより強力な証拠を持つニューロンにペナルティを課します。このような高顕著性ニューロンをドロップすることにより、ネットワークは損失の最小化を維持するために代替パスを学習することを余儀なくされ、人間の脳の特徴である可塑性のような動作をもたらします。 4つの画像/ビデオ認識ベンチマークにわたるいくつかのメトリックを使用して、より優れた一般化能力、ネットワークニューロンの使用率の向上、およびネットワーク圧縮に対するより高い回復力を示します。
We propose a guided dropout regularizer for deep networks based on the evidence of a network prediction defined as the firing of neurons in specific paths. In this work, we utilize the evidence at each neuron to determine the probability of dropout, rather than dropping out neurons uniformly at random as in standard dropout. In essence, we dropout with higher probability those neurons which contribute more to decision making at training time. This approach penalizes high saliency neurons that are most relevant for model prediction, i.e. those having stronger evidence. By dropping such high-saliency neurons, the network is forced to learn alternative paths in order to maintain loss minimization, resulting in a plasticity-like behavior, a characteristic of human brains too. We demonstrate better generalization ability, an increased utilization of network neurons, and a higher resilience to network compression using several metrics over four image/video recognition benchmarks.
updated: Thu Jan 21 2021 18:23:30 GMT+0000 (UTC)
published: Wed May 23 2018 12:32:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト