arXiv reaDer
Derivative Manipulation for General Example Weighting
実際の大規模なデータセットには通常、ノイズの多いラベルが含まれており、不均衡です。したがって、これらの悪条件下でロバストなディープモデルをトレーニングするための新しい一般的な例の重み付けアプローチである微分操作(DM)を提案します。 DMには2つの主なメリットがあります。第1に、損失関数とサンプルの重み付けは、ロバスト学習の2つの一般的な手法です。勾配ベースの最適化では、損失関数の役割は、モデルを更新する逆伝播の勾配を提供することです。これにより、例の微分の大きさは、それが及ぼす影響の大きさ、つまりその重みを定義します。 DMにより、損失関数の設計と例の重み付けを結び付けます。第2に、損失関数を設計しても同じ効果がある場合がありますが、損失が微分可能かどうかを考慮し、その導関数を導出して、その重み付けスキームの例を理解する必要があります。それらは設計を複雑にします。代わりに、派生物を直接変更することにより、DMはより柔軟で簡単です。具体的には、DMは変換と正規化を含む微分マグニチュード関数を変更します。その後、重み付けスキームを表す強調密度関数と呼びます。したがって、さまざまな重み付けスキームは、よく知られているロバスト損失(MAEやGCEなど)を含む一般的な確率密度関数から導出されます。私たちは、視覚と言語の両方のタスクにおけるDMの有効性を実証する広範な実験を実施しています。
Real-world large-scale datasets usually contain noisy labels and are imbalanced. Therefore, we propose derivative manipulation (DM), a novel and general example weighting approach for training robust deep models under these adverse conditions. DM has two main merits. First, loss function and example weighting are two common techniques in robust learning. In gradient-based optimisation, the role of a loss function is to provide the gradient for back-propagation to update a model, so that the derivative magnitude of an example defines how much impact it has, namely its weight. By DM, we connect the design of loss function and example weighting together. Second, although designing a loss function sometimes has the same effect, we need to care whether a loss is differentiable, and derive its derivative to understand its example weighting scheme. They make the design complicated. Instead, DM is more flexible and straightforward by directly modifying the derivative. Concretely, DM modifies a derivative magnitude function, including transformation and normalisation, after which we term it an emphasis density function, which expresses a weighting scheme. Accordingly, diverse weighting schemes are derived from common probability density functions, including those of well-known robust losses, e.g., MAE and GCE. We conduct extensive experiments demonstrating the effectiveness of DM on both vision and language tasks.
updated: Sat Jul 04 2020 14:45:57 GMT+0000 (UTC)
published: Mon May 27 2019 13:59:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト