これまでの研究では、平均絶対誤差 (MAE) などのノイズに強い損失関数と、交差エントロピー (CE) などの標準のカテゴリ損失関数を組み合わせて学習可能性を向上させることが有益であることがわかっています。ここでは、Jensen-Shannon ダイバージェンスをノイズに強い損失関数として使用することを提案し、制御可能なミキシング パラメーターを使用して CE と MAE の間で興味深い補間を行うことを示します。さらに、CE はノイズの多いデータ ポイントの周りで一貫性が低いという重要な観察を行います。この観察に基づいて、データポイント周辺の一貫性を促進するために、複数の分布に対してイェンセン・シャノン発散の一般化バージョンを採用します。この損失関数を使用して、さまざまなノイズ レートでの合成 (CIFAR) ノイズと実際のノイズ (WebVision) の両方で最先端の結果を示します。
Prior works have found it beneficial to combine provably noise-robust loss functions e.g., mean absolute error (MAE) with standard categorical loss function e.g. cross entropy (CE) to improve their learnability. Here, we propose to use Jensen-Shannon divergence as a noise-robust loss function and show that it interestingly interpolate between CE and MAE with a controllable mixing parameter. Furthermore, we make a crucial observation that CE exhibit lower consistency around noisy data points. Based on this observation, we adopt a generalized version of the Jensen-Shannon divergence for multiple distributions to encourage consistency around data points. Using this loss function, we show state-of-the-art results on both synthetic (CIFAR), and real-world (WebVision) noise with varying noise rates.