深層学習の記憶効果は、ノイズの多いラベルで学習するときに、テストセットで効果的に一般化するパフォーマンスを妨げます。以前の研究では、認識論的不確実性手法は、不確実性推定のないニューラルネットワークと比較して、ノイズの多いラベルでトレーニングされた場合に堅牢であることがわかっています。それらは、ノイズの多いラベルの敵対的な設定の下で、長期の暗記効果とより良い一般化パフォーマンスを取得します。ノイズの多いラベルの下で選択された認識論的不確実性手法の中でも優れたパフォーマンスのため、モンテカルロドロップアウト(MCDropout)に焦点を当て、ノイズの多いラベルでトレーニングしたときに堅牢である理由を調査します。データセットMNIST、CIFAR-10、Animal-10nの実証研究を通じて、ノイズの多いラベル設定の下でMCDropoutの3つの側面を深く掘り下げます。1。有効性:トレーニングセットに人工的に生成された、または自然に埋め込まれたMCDropoutの学習動作とテスト精度を理解するラベルノイズ; 2.表現のボラティリティ:各ニューロンの活性化の平均と標準偏差を調べることにより、ニューロンの応答性を研究します。 3.ネットワークスパース性:決定論的ニューラルネットワークと比較したMCDropoutのネットワークサポートの調査。私たちの調査結果は、MCDropoutが決定論的ニューラルネットワークをさらにスパース化して正規化し、ノイズの多いラベルに対してより高いロバスト性を提供することを示唆しています。
The memorization effect of deep learning hinders its performance to effectively generalize on test set when learning with noisy labels. Prior study has discovered that epistemic uncertainty techniques are robust when trained with noisy labels compared with neural networks without uncertainty estimation. They obtain prolonged memorization effect and better generalization performance under the adversarial setting of noisy labels. Due to its superior performance amongst other selected epistemic uncertainty methods under noisy labels, we focus on Monte Carlo Dropout (MCDropout) and investigate why it is robust when trained with noisy labels. Through empirical studies on datasets MNIST, CIFAR-10, Animal-10n, we deep dive into three aspects of MCDropout under noisy label setting: 1. efficacy: understanding the learning behavior and test accuracy of MCDropout when training set contains artificially generated or naturally embedded label noise; 2. representation volatility: studying the responsiveness of neurons by examining the mean and standard deviation on each neuron's activation; 3. network sparsity: investigating the network support of MCDropout in comparison with deterministic neural networks. Our findings suggest that MCDropout further sparsifies and regularizes the deterministic neural networks and thus provides higher robustness against noisy labels.