農業やヘルスケアなどの一部の現実の領域は、記録がまれなイベントを構成する初期段階の病気の兆候を含みますが、その段階での正確な検出が重要です。複雑な特徴を含むこのタイプの高度に不均衡な分類問題では、その強力な検出機能のために深層学習(DL)が非常に必要です。同時に、DLは実際には少数派のクラスよりも多数派を支持することが観察されており、その結果、対象となる初期段階の兆候の不正確な検出に苦しんでいます。このようなシナリオをシミュレートするために、Transfer Learningによる希少な視覚的手がかりの分類の基礎として、PlantVillageデータセットから特定の植物タイプの歪度(99%対1%)を人為的に生成します。特定の植物タイプから健康なサンプルと不健康なサンプルをランダムかつ不均一に選択してトレーニングセットを形成することにより、基本実験をResNet34およびVGG19アーキテクチャの微調整と見なし、健康な画像と不健康な画像のバランスの取れたデータセットでモデルのパフォーマンスをテストします。 VGG19の出力レイヤーの直前に最後のバッチ正規化(BN)レイヤーを追加すると、マイノリティクラスの初期F1テストスコアが0.29から0.95にジャンプすることを経験的に観察します。最新のCNNアーキテクチャで出力層の前に追加のBN層を利用すると、トレーニング時間の最小化と、非常に不均衡なデータセットの少数派クラスのテストエラーの点で大きな影響があることを示します。さらに、最終的なBNが採用される場合、損失関数を最小化することは、そのような問題で少数派クラスの高いF1テストスコアを保証するための最良の方法ではない可能性があります。つまり、予測を行う際に十分な自信がない場合でも、ネットワークのパフォーマンスが向上する可能性があります。ソフトマックス出力がDLモデルの不確実性の尺度として適切でない理由についての別の議論につながります。
Some real-world domains, such as Agriculture and Healthcare, comprise early-stage disease indications whose recording constitutes a rare event, and yet, whose precise detection at that stage is critical. In this type of highly imbalanced classification problems, which encompass complex features, deep learning (DL) is much needed because of its strong detection capabilities. At the same time, DL is observed in practice to favor majority over minority classes and consequently suffer from inaccurate detection of the targeted early-stage indications. To simulate such scenarios, we artificially generate skewness (99% vs. 1%) for certain plant types out of the PlantVillage dataset as a basis for classification of scarce visual cues through transfer learning. By randomly and unevenly picking healthy and unhealthy samples from certain plant types to form a training set, we consider a base experiment as fine-tuning ResNet34 and VGG19 architectures and then testing the model performance on a balanced dataset of healthy and unhealthy images. We empirically observe that the initial F1 test score jumps from 0.29 to 0.95 for the minority class upon adding a final Batch Normalization (BN) layer just before the output layer in VGG19. We demonstrate that utilizing an additional BN layer before the output layer in modern CNN architectures has a considerable impact in terms of minimizing the training time and testing error for minority classes in highly imbalanced data sets. Moreover, when the final BN is employed, minimizing the loss function may not be the best way to assure a high F1 test score for minority classes in such problems. That is, the network might perform better even if it is not confident enough while making a prediction; leading to another discussion about why softmax output is not a good uncertainty measure for DL models.