arXiv reaDer
強化された等方性最大化損失:SoftMax損失を単に置き換えるだけのシームレスで高性能な分布外検出
Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss
現在の分布外検出アプローチは、通常、特別な要件(たとえば、外れ値データの収集とハイパーパラメータ検証)を提示し、副作用(たとえば、分類精度の低下と遅い/非効率的な推論)を生成します。最近、エントロピーの分布外検出がシームレスなアプローチとして提案されました(つまり、前述のすべての欠点を回避するソリューション)。エントロピーの分布外検出ソリューションは、トレーニングにIsoMax損失を使用し、分布外の検出にエントロピースコアを使用します。 SoftMax損失をIsoMax損失と交換する必要がないため、IsoMax損失は、SoftMax損失(つまり、出力線形層、SoftMaxアクティベーション、およびクロスエントロピー損失の組み合わせ)のドロップイン置換として機能します。モデルのアーキテクチャまたはトレーニングハイパーパラメータ。このホワイトペーパーでは、IsoMax損失で使用される距離の等化と呼ばれるものを実行します。さらに、エントロピースコアを最小距離スコアに置き換えることを提案します。実験では、これらの単純な変更により、ソリューションをシームレスに保ちながら、分布外の検出パフォーマンスが大幅に向上することが示されました。提案されたソリューションは、現在のすべての主要なアプローチと競合するか、それを上回るだけでなく、ニューラルネットワークをトレーニングするための単純な損失の置き換えのみが必要なため、使用がはるかに簡単であることに加えて、現在のすべての制限を回避します。 SoftMax損失をIsoMax +損失に置き換えて結果を再現するコードは、https://github.com/dlmacedo/entropic-out-of-distribution-detectionで入手できます。
Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a drop-in replacement of the SoftMax loss (i.e., the combination of the output linear layer, the SoftMax activation, and the cross-entropy loss) because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these simple modifications significantly increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations in addition to being much easier to use because only a simple loss replacement for training the neural network is required. The code to replace the SoftMax loss with the IsoMax+ loss and reproduce the results is available https://github.com/dlmacedo/entropic-out-of-distribution-detection.
updated: Mon Oct 25 2021 10:57:16 GMT+0000 (UTC)
published: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト