堅牢な決定論的ニューラルネットワークを構築することは、依然として課題です。一方では、いくつかのアプローチは、いくつかの状況で分類精度を低下させるという犠牲を払って、分布外検出を改善します。一方、一部の方法では、分類の精度、不確実性の推定、および分布外の検出が同時に向上しますが、推論の効率が低下し、ハイパーパラメーターを調整するために同じモデルを何度もトレーニングする必要があります。この論文では、DisMax損失を使用して決定論的ニューラルネットワークをトレーニングすることを提案します。これは、通常のSoftMax損失(つまり、線形出力層、SoftMaxアクティベーション、およびクロスエントロピー損失の組み合わせ)のドロップイン置換として機能します。 。 IsoMax +の損失から始めて、正しいクラスに関連付けられているものだけでなく、すべてのプロトタイプまでの距離に基づいて各ロジットを作成します。また、画像を組み合わせて、分数確率正則化と呼ばれるものを構築するメカニズムを紹介します。さらに、トレーニング後にネットワークを迅速に調整する方法を紹介します。最後に、分布外検出を実行するための複合スコアを提案します。私たちの実験では、DisMaxは通常、分類精度、不確実性の推定、および分布外の検出において、決定論的なニューラルネットワークの推論効率を維持し、ハイパーパラメータ調整のために同じモデルを繰り返しトレーニングすることを避けながら、現在のアプローチよりも優れていることを示しています。結果を再現するためのコードは、https://github.com/dlmacedo/distinction-maximization-lossで入手できます。
Building robust deterministic neural networks remains a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the other hand, some methods simultaneously increase classification accuracy, uncertainty estimation, and out-of-distribution detection at the expense of reducing the inference efficiency and requiring training the same model many times to tune hyperparameters. In this paper, we propose training deterministic neural networks using our DisMax loss, which works as a drop-in replacement for the usual SoftMax loss (i.e., the combination of the linear output layer, the SoftMax activation, and the cross-entropy loss). Starting from the IsoMax+ loss, we create each logit based on the distances to all prototypes rather than just the one associated with the correct class. We also introduce a mechanism to combine images to construct what we call fractional probability regularization. Moreover, we present a fast way to calibrate the network after training. Finally, we propose a composite score to perform out-of-distribution detection. Our experiments show that DisMax usually outperforms current approaches simultaneously in classification accuracy, uncertainty estimation, and out-of-distribution detection while maintaining deterministic neural network inference efficiency and avoiding training the same model repetitively for hyperparameter tuning. The code to reproduce the results is available at https://github.com/dlmacedo/distinction-maximization-loss.