arXiv reaDer
SoftMax損失を単純に置き換える、シームレスで高性能な分布外検出アプローチ
A Seamless and High-Performance Out-of-Distribution Detection Approach Simply Replacing the SoftMax Loss
現在の分布外検出アプローチは、通常、特別な要件(たとえば、外れ値データの収集とハイパーパラメーター検証)を提示し、副作用(分類精度の低下と遅い/非効率的な推論)を生成します。最近、エントロピーの分布外検出がシームレスなアプローチとして提案されました(つまり、前述のすべての欠点を回避するソリューション)。エントロピーの分布外検出ソリューションは、トレーニング用のIsoMax損失と、分布外検出用のエントロピースコアで構成されます。 SoftMax損失をIsoMax損失と交換するためにモデルのアーキテクチャやトレーニング手順/ハイパーパラメータを変更する必要がないため、IsoMax損失はSoftMax損失ドロップインの代替として機能します。この論文では、IsoMax損失で使用される距離の等化と呼ばれるものを実行することを提案します。さらに、エントロピースコアを最小距離スコアに置き換えることを提案します。私たちの実験では、これらの単純な変更により、ソリューションをシームレスに保ちながら、分布外の検出パフォーマンスが向上することが示されました。私たちのソリューションは、現在のすべての主要なアプローチと競合するか、それを上回るだけでなく、ニューラルネットワークをトレーニングするための単純な損失の置き換えが必要なため、使いやすさに加えて、現在のすべての制限を回避します。コードはhttps://github.com/dlmacedo/entropic-out-of-distribution-detectionで入手できます。
Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all the previously mentioned drawbacks). The entropic out-of-distribution detection solution comprises the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we propose to perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose to replace the entropic score with the minimum distance score. Our experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, our solution avoids all their current limitations in addition to being much easier to use, as just a simple loss replacement for training the neural network is required. Code available at https://github.com/dlmacedo/entropic-out-of-distribution-detection.
updated: Wed Sep 29 2021 17:20:06 GMT+0000 (UTC)
published: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト