arXiv reaDer
特徴検出器の共適応防止によるニューラルネットワークの改善
Improving neural networks by preventing co-adaptation of feature detectors
大規模なフィードフォワード・ニューラルネットワークが小さな訓練セットで訓練されると、一般的に、提示されたテストデータでは性能が悪くなる。この「オーバーフィット」は、各訓練ケースの特徴検出器の半分をランダムに省略することで大幅に削減される。これにより、ある特徴検出器が他のいくつかの特定の特徴検出器の文脈でしか役に立たないような複雑な共適応を防ぐことができる。その代わりに、各ニューロンは、そのニューロンが動作しなければならない様々な内部コンテクストを組み合わせて考えると、正しい答えを出すために一般的に役立つ特徴を検出することを学習する。ランダムな「ドロップアウト」は、多くのベンチマークタスクを大幅に改善し、音声認識と物体認識の新記録を樹立する。
When a large feedforward neural network is trained on a small training set, it typically performs poorly on held-out test data. This "overfitting" is greatly reduced by randomly omitting half of the feature detectors on each training case. This prevents complex co-adaptations in which a feature detector is only helpful in the context of several other specific feature detectors. Instead, each neuron learns to detect a feature that is generally helpful for producing the correct answer given the combinatorially large variety of internal contexts in which it must operate. Random "dropout" gives big improvements on many benchmark tasks and sets new records for speech and object recognition.
updated: Tue Jul 03 2012 06:35:15 GMT+0000 (UTC)
published: Tue Jul 03 2012 06:35:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト