表現学習と分類子学習の分離は、ロングテール データの分類に効果的であることが示されています。切り離された学習スキームを構築するには、主に 2 つの要素があります。 1) 一般化可能な表現を提供するように表現学習のために特徴抽出器をトレーニングする方法、および 2) ロングテール データのクラスの不均衡を処理することによって適切な決定境界を構築する分類器を再トレーニングする方法。この作業では、最初に深層ニューラル ネットワークの一般化を改善するための最適化手法である確率的加重平均 (SWA) を適用して、ロングテール分類のためのより優れた一般化特徴抽出器を取得します。次に、SWA-Gaussian から得られた確率的表現、Gaussian perturbed SWA、および不確実性推定に基づく多様な確率的表現を利用してより堅牢な分類器を構築できる自己蒸留戦略に基づく、新しい分類器再トレーニング アルゴリズムを提案します。 CIFAR10/100-LT、ImageNet-LT、および iNaturalist-2018 ベンチマークでの広範な実験により、提案された方法が予測精度と不確実性の推定の両方の点で以前の方法よりも改善されることが示されています。
Decoupling representation learning and classifier learning has been shown to be effective in classification with long-tailed data. There are two main ingredients in constructing a decoupled learning scheme; 1) how to train the feature extractor for representation learning so that it provides generalizable representations and 2) how to re-train the classifier that constructs proper decision boundaries by handling class imbalances in long-tailed data. In this work, we first apply Stochastic Weight Averaging (SWA), an optimization technique for improving the generalization of deep neural networks, to obtain better generalizing feature extractors for long-tailed classification. We then propose a novel classifier re-training algorithm based on stochastic representation obtained from the SWA-Gaussian, a Gaussian perturbed SWA, and a self-distillation strategy that can harness the diverse stochastic representations based on uncertainty estimates to build more robust classifiers. Extensive experiments on CIFAR10/100-LT, ImageNet-LT, and iNaturalist-2018 benchmarks show that our proposed method improves upon previous methods both in terms of prediction accuracy and uncertainty estimation.