堅牢な決定論的ディープニューラルネットワークを構築することは、依然として課題です。一方では、いくつかのアプローチは、いくつかの状況で分類精度を低下させるという犠牲を払って、分布外検出を改善します。一方、一部の方法では、分類の精度、分布外の検出、および不確実性の推定が同時に向上しますが、同じモデルを何度もトレーニングしてハイパーパラメータを調整することに加えて、推論の効率が低下します。この論文では、DisMax損失を使用して決定論的ディープニューラルネットワークをトレーニングすることを提案します。これは、一般的に使用されるSoftMax損失(つまり、線形出力層、SoftMaxアクティベーション、およびクロスエントロピーの組み合わせ)のドロップイン置換として機能します。損失)。 IsoMax +の損失から始めて、正しいクラスに関連付けられたものだけでなく、すべてのプロトタイプまでの距離に基づいた新しいロジットを作成しました。また、画像を拡張して、分数確率正則化と呼ばれるものを構築する新しい方法を提案します。さらに、分布外検出を実行するための新しいスコアと、トレーニング後にネットワークを較正するための高速な方法を提案します。私たちの実験によると、DisMaxは通常、分類精度、不確実性の推定、推論効率、および分布外の検出において、現在のすべてのアプローチを同時に上回り、ハイパーパラメーターの調整や反復的なモデルトレーニングを回避します。 SoftMax損失をDisMax損失に置き換え、このペーパーで結果を再現するためのコードは、https://github.com/dlmacedo/distinction-maximization-lossで入手できます。
Building robust deterministic deep neural networks is still a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the other hand, some methods simultaneously increase classification accuracy, out-of-distribution detection, and uncertainty estimation, but reduce inference efficiency, in addition to training the same model many times to tune hyperparameters. In this paper, we propose training deterministic deep neural networks using our DisMax loss, which works as a drop-in replacement for the commonly used SoftMax loss (i.e., the combination of the linear output layer, the SoftMax activation, and the cross-entropy loss). Starting from the IsoMax+ loss, we created novel logits that are based on the distance to all prototypes rather than just the one associated with the correct class. We also propose a novel way to augment images to construct what we call fractional probability regularization. Moreover, we propose a new score to perform out-of-distribution detection and a fast way to calibrate the network after training. Our experiments show that DisMax usually outperforms all current approaches simultaneously in classification accuracy, uncertainty estimation, inference efficiency, and out-of-distribution detection, avoiding hyperparameter tuning and repetitive model training. The code to replace the SoftMax loss with the DisMax loss and reproduce the results in this paper is available at https://github.com/dlmacedo/distinction-maximization-loss.