arXiv reaDer
IMAE for Noise-Robust Learning: Mean Absolute Error Does Not Treat Examples Equally and Gradient Magnitude's Variance Matters
 この作業では、経験的損失関数に組み込まれている例の重み付けの観点から、異常なトレーニングデータに対するロバストなディープラーニング、つまり、これまで十分に研究されていない角度であるロジットに対する勾配の大きさを研究します。その結果、2つの重要な調査結果があります。(1)平均絶対誤差(MAE)は例を均等に処理しません。ノイズに強いことが理論的に証明されているMAEに関する新しい観測と洞察に富んだ分析を提示します。最初に、実際にその不十分な問題を明らかにします。第二に、MAEの耐ノイズ性は、以前の研究で主張されているように、トレーニングサンプルを平等に扱うのではなく、不確実な例に重点を置いていることによるものです。 (2)勾配の大きさの問題の分散。 MAEのノイズ耐性を維持しながらMAEのフィッティング能力を強化するための効果的でシンプルなソリューションを提案します。 MAEの全体的な重み付けスキームを変更することなく、つまり、どの例がより高い重みを取得するかを変更せずに、重みの分散を非線形に変更するだけで、2つの例間の影響率が調整されます。私たちのソリューションは、改善されたMAE(IMAE)と呼ばれます。クリーンラベル、合成ラベルノイズ、実世界の未知のノイズの下での画像分類など、広範な実験を使用してIMAEの有効性を証明します。 IMAEは、DNNのトレーニングで最も一般的な損失であるCCEよりも優れていると結論付けています。
In this work, we study robust deep learning against abnormal training data from the perspective of example weighting built in empirical loss functions, i.e., gradient magnitude with respect to logits, an angle that is not thoroughly studied so far. Consequently, we have two key findings: (1) Mean Absolute Error (MAE) Does Not Treat Examples Equally. We present new observations and insightful analysis about MAE, which is theoretically proved to be noise-robust. First, we reveal its underfitting problem in practice. Second, we analyse that MAE's noise-robustness is from emphasising on uncertain examples instead of treating training samples equally, as claimed in prior work. (2) The Variance of Gradient Magnitude Matters. We propose an effective and simple solution to enhance MAE's fitting ability while preserving its noise-robustness. Without changing MAE's overall weighting scheme, i.e., what examples get higher weights, we simply change its weighting variance non-linearly so that the impact ratio between two examples are adjusted. Our solution is termed Improved MAE (IMAE). We prove IMAE's effectiveness using extensive experiments: image classification under clean labels, synthetic label noise, and real-world unknown noise. We conclude IMAE is superior to CCE, the most popular loss for training DNNs.
updated: Sun Nov 15 2020 09:38:15 GMT+0000 (UTC)
published: Thu Mar 28 2019 17:27:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト