arXiv reaDer
不均衡な分類による大幅なマージン損失の拡大
Enlarged Large Margin Loss for Imbalanced Classification
不均衡な分類のための新しい損失関数を提案します。 LDAM 損失は、マージンベースの一般化限界を最小限に抑えるもので、クラス不均衡な画像分類に広く利用されています。 LDAM損失を利用することで、少数派のクラスでは大きなマージンを、多数派のクラスでは小さなマージンを得ることができますが、元のソフトマックスのクロスエントロピー損失に含まれる大きなマージンとの関連性はまだ明らかになっていません。本研究では、ソフトプラス関数に基づく大マージンソフトマックスクロスエントロピー損失の概念を用いてLDAM損失の式を再変換し、LDAM損失がソフトマックスクロスエントロピー損失よりも広い大マージンを含んでいることを確認した。さらに、LDAM 損失の大マージンをさらに拡大できる新しい ELM (Enlarged Large Margin) 損失を提案します。 ELM 損失では、LDAM 損失で使用される基本マージンに加えて、不正なクラスの最大ロジットに対する大きなマージンが利用されます。不均衡なCIFARデータセットや尾部分布の大規模データセットを対象とした実験により、不均衡な分類におけるLDAM損失や従来の損失と比較して、分類精度が大幅に向上することを確認しました。
We propose a novel loss function for imbalanced classification. LDAM loss, which minimizes a margin-based generalization bound, is widely utilized for class-imbalanced image classification. Although, by using LDAM loss, it is possible to obtain large margins for the minority classes and small margins for the majority classes, the relevance to a large margin, which is included in the original softmax cross entropy loss, is not be clarified yet. In this study, we reconvert the formula of LDAM loss using the concept of the large margin softmax cross entropy loss based on the softplus function and confirm that LDAM loss includes a wider large margin than softmax cross entropy loss. Furthermore, we propose a novel Enlarged Large Margin (ELM) loss, which can further widen the large margin of LDAM loss. ELM loss utilizes the large margin for the maximum logit of the incorrect class in addition to the basic margin used in LDAM loss. Through experiments conducted on imbalanced CIFAR datasets and large-scale datasets with long-tailed distribution, we confirmed that classification accuracy was much improved compared with LDAM loss and conventional losses for imbalanced classification.
updated: Thu Jun 15 2023 13:44:49 GMT+0000 (UTC)
published: Thu Jun 15 2023 13:44:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト