arXiv reaDer
L_DMI: An Information-theoretic Noise-robust Loss Function
 大規模なデータセットに正確に注釈を付けることは、時間と費用の両方で高く評価されます。低品質の注釈付きデータセットの取得ははるかに安価ですが、特別な処理をせずにこのようなデータセットを使用すると、訓練されたモデルのパフォーマンスに悪影響を与えることがよくあります。ノイズの多いラベルで学習するためのさまざまな方法が提案されています。ただし、ほとんどの方法は、限られた種類のノイズパターンのみを処理し、補助的な情報または手順(たとえば、ノイズ遷移行列を知るまたは推定する)を必要とするか、理論的な正当性を欠いています。本論文では、ラベルノイズにロバストなディープニューラルネットワークをトレーニングするための、新しい情報理論的損失関数L_DMIを提案します。 L_DMIのコアは、決定論ベースの相互情報(DMI)と呼ばれる相互情報の一般化バージョンです。これは、情報単調であるだけでなく、比較的不変です。私たちの知る限り、L_DMIは、ノイズパターンに関係なく、インスタンスに依存しないラベルノイズに対してロバストな最初の損失関数であり、補助情報なしで既存の分類ニューラルネットワークに直接適用できます。理論的な正当化に加えて、L_DMIを使用すると、Fashion-MNIST、CIFAR-10、Dogs vs. Cats、MRとさまざまな合成ノイズが含まれる画像データセットと自然言語データセットの両方で、分類タスクで他のすべての対応物よりも優れていることも経験的に示していますパターンとノイズ量、および実世界のデータセットClothing1M。コードはで入手できます。
Accurately annotating large scale dataset is notoriously expensive both in time and in money. Although acquiring low-quality-annotated dataset can be much cheaper, it often badly damages the performance of trained models when using such dataset without particular treatment. Various methods have been proposed for learning with noisy labels. However, most methods only handle limited kinds of noise patterns, require auxiliary information or steps (e.g. , knowing or estimating the noise transition matrix), or lack theoretical justification. In this paper, we propose a novel information-theoretic loss function, L_DMI, for training deep neural networks robust to label noise. The core of L_DMI is a generalized version of mutual information, termed Determinant based Mutual Information (DMI), which is not only information-monotone but also relatively invariant. To the best of our knowledge, L_DMI is the first loss function that is provably robust to instance-independent label noise, regardless of noise pattern, and it can be applied to any existing classification neural networks straightforwardly without any auxiliary information. In addition to theoretical justification, we also empirically show that using L_DMI outperforms all other counterparts in the classification task on both image dataset and natural language dataset include Fashion-MNIST, CIFAR-10, Dogs vs. Cats, MR with a variety of synthesized noise patterns and noise amounts, as well as a real-world dataset Clothing1M. Codes are available at .
updated: Mon Nov 04 2019 18:16:37 GMT+0000 (UTC)
published: Sun Sep 08 2019 05:09:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト