arXiv reaDer
強化された等方性最大化損失:SoftMax損失を単に置き換えるだけのシームレスで高性能な分布外検出
Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss
現在の分布外検出アプローチは、通常、特別な要件(たとえば、外れ値データの収集やハイパーパラメータ検証)を提示し、副作用(たとえば、分類精度の低下や遅い/非効率的な推論)を生成します。最近、エントロピーの分布外検出がシームレスなアプローチとして提案されました(つまり、前述のすべての欠点を回避するソリューション)。エントロピック分布外検出ソリューションは、トレーニングにIsoMax損失を使用し、分布外検出にエントロピックスコアを使用します。 SoftMax損失をIsoMax損失と交換する必要がないため、IsoMax損失は、SoftMax損失(つまり、出力線形層、SoftMaxアクティベーション、およびクロスエントロピー損失の組み合わせ)のドロップイン置換として機能します。モデルのアーキテクチャまたはトレーニング手順/ハイパーパラメータ。このホワイトペーパーでは、IsoMax損失で使用される距離の等化と呼ばれるものを実行します。さらに、エントロピックスコアを最小距離スコアに置き換えることを提案します。実験では、これらの変更により、ソリューションをシームレスに保ちながら、分布外の検出パフォーマンスが大幅に向上することが示されました。提案されたソリューションは、現在のすべての主要なアプローチと競合するか、それを上回るだけでなく、ニューラルネットワークをトレーニングするための単純な損失の置き換えのみが必要なため、使用がはるかに簡単であることに加えて、現在のすべての制限を回避します。 SoftMax損失をIsoMax +損失に置き換えて結果を再現するコードは、https://github.com/dlmacedo/entropic-out-of-distribution-detectionで入手できます。
Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a drop-in replacement of the SoftMax loss (i.e., the combination of the output linear layer, the SoftMax activation, and the cross-entropy loss) because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these modifications significantly increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations in addition to being much easier to use because only a simple loss replacement for training the neural network is required. The code to replace the SoftMax loss with the IsoMax+ loss and reproduce the results is available at https://github.com/dlmacedo/entropic-out-of-distribution-detection.
updated: Tue Nov 16 2021 13:15:49 GMT+0000 (UTC)
published: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト