この論文では、ニューラルネットワークの不十分な分布外(OOD)検出性能は、主にSoftMax損失異方性と、最大エントロピーの原理に反して低エントロピー確率分布を生成する傾向によるものであると主張します。現在の分布外(OOD)検出アプローチは、通常、SoftMax損失の欠点を直接修正するのではなく、それを回避するための手法を構築します。残念ながら、これらの方法では通常、望ましくない副作用が発生します(たとえば、分類精度の低下、追加のハイパーパラメータ、推論の遅延、追加データの収集など)。反対の方向では、SoftMax損失を、前述の弱点に悩まされない新しい損失関数に置き換えることを提案します。提案されたIsoMax損失は等方性(排他的に距離ベース)であり、高いエントロピー事後確率分布を提供します。 SoftMax損失をIsoMax損失に置き換えるには、モデルやトレーニングを変更する必要はありません。さらに、IsoMax損失でトレーニングされたモデルは、SoftMax損失を使用してトレーニングされたモデルと同じくらい高速でエネルギー効率の高い推論を生成します。さらに、分類精度の低下は見られません。提案された方法は、外れ値/バックグラウンドデータ、ハイパーパラメータチューニング、温度キャリブレーション、特徴抽出、メトリック学習、敵対的トレーニング、アンサンブル手順、または生成モデルに依存しません。私たちの実験では、IsoMax損失が、ニューラルネットワークのOOD検出パフォーマンスを大幅に向上させるシームレスなSoftMax損失ドロップイン置換として機能することが示されました。したがって、現在または将来のOOD検出手法と組み合わせて、さらに高い結果を達成するためのベースラインOOD検出アプローチとして使用できます。
In this paper, we argue that the unsatisfactory out-of-distribution (OOD) detection performance of neural networks is mainly due to the SoftMax loss anisotropy and propensity to produce low entropy probability distributions in disagreement with the principle of maximum entropy. Current out-of-distribution (OOD) detection approaches usually do not directly fix the SoftMax loss drawbacks but rather build techniques to circumvent it. Unfortunately, those methods usually produce undesired side effects (e.g., classification accuracy drop, additional hyperparameters, slower inferences, and collecting extra data). In the opposite direction, we propose replacing SoftMax loss with a novel loss function that does not suffer from the mentioned weaknesses. The proposed IsoMax loss is isotropic (exclusively distance-based) and provides high entropy posterior probability distributions. Replacing the SoftMax loss by IsoMax loss requires no model or training changes. Additionally, the models trained with IsoMax loss produce as fast and energy-efficient inferences as those trained using SoftMax loss. Further, no classification accuracy drop is observed. The proposed method does not rely on outlier/background data, hyperparameter tuning, temperature calibration, feature extraction, metric learning, adversarial training, ensemble procedures, or generative models. Our experiments showed that IsoMax loss works as a seamless SoftMax loss drop-in replacement that significantly improves neural networks' OOD detection performance. Therefore, it may be used as a baseline OOD detection approach to be combined with current or future OOD detection techniques to achieve even higher results.