arXiv reaDer
不均衡な深層学習における機能の逸脱の特定と補償
Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning
クラス不均衡データでトレーニングされた分類器は、トレーニングデータが不十分な「マイナー」クラスのテストデータでのパフォーマンスが低いことが知られています。この論文では、そのようなシナリオでのConvNet分類器の学習について調査します。 ConvNetはマイナークラスを大幅にオーバーフィットすることがわかりました。これは、マイナークラスをアンダーフィットすることが多い従来の機械学習アルゴリズムとは正反対です。一連の分析を行ったところ、特徴の逸脱現象(学習したConvNetがマイナークラスのトレーニングデータとテストデータの間で逸脱した特徴を生成する)を発見しました。これは、過剰適合がどのように発生するかを説明しています。テストデータを低決定値領域に押しやる特徴偏差の影響を補償するために、ConvNetのトレーニングにクラス依存温度(CDT)を組み込むことを提案します。 CDTは、トレーニングフェーズで機能の偏差をシミュレートし、ConvNetにマイナークラスのデータの決定値を拡大させて、テストフェーズでの実際の機能の偏差を克服できるようにします。ベンチマークデータセットに対するアプローチを検証し、有望なパフォーマンスを実現します。私たちの洞察が、クラスの不均衡な深層学習を解決するための新しい考え方を刺激することを願っています。
Classifiers trained with class-imbalanced data are known to perform poorly on test data of the "minor" classes, of which we have insufficient training data. In this paper, we investigate learning a ConvNet classifier under such a scenario. We found that a ConvNet significantly over-fits the minor classes, which is quite opposite to traditional machine learning algorithms that often under-fit minor classes. We conducted a series of analysis and discovered the feature deviation phenomenon -- the learned ConvNet generates deviated features between the training and test data of minor classes -- which explains how over-fitting happens. To compensate for the effect of feature deviation which pushes test data toward low decision value regions, we propose to incorporate class-dependent temperatures (CDT) in training a ConvNet. CDT simulates feature deviation in the training phase, forcing the ConvNet to enlarge the decision values for minor-class data so that it can overcome real feature deviation in the test phase. We validate our approach on benchmark datasets and achieve promising performance. We hope that our insights can inspire new ways of thinking in resolving class-imbalanced deep learning.
updated: Mon Jul 11 2022 01:09:36 GMT+0000 (UTC)
published: Mon Jan 06 2020 03:52:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト