arXiv reaDer
Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score
現在の分布外検出アプローチは、通常、特別な要件(たとえば、外れ値データの収集とハイパーパラメーター検証)を提示し、副作用(分類精度の低下と遅い/非効率的な推論)を生成します。最近、エントロピーの分布外検出がシームレスなアプローチとして提案されました(つまり、前述のすべての欠点を回避するソリューション)。エントロピーの分布外検出ソリューションは、トレーニング用のIsoMax損失と、分布外検出用のエントロピースコアで構成されます。 SoftMax損失をIsoMax損失と交換するためにモデルのアーキテクチャやトレーニング手順/ハイパーパラメータを変更する必要がないため、IsoMax損失はSoftMax損失ドロップインの代替として機能します。この論文では、IsoMax損失で使用される距離の等化と呼ばれるものを実行することを提案します。さらに、エントロピースコアを最小距離スコアに置き換えることを提案します。私たちの実験では、これらの単純な変更により、ソリューションをシームレスに保ちながら、分布外の検出パフォーマンスが向上することが示されました。 out-of-distributiondetectionで入手可能なコード。
Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all the previously mentioned drawbacks). The entropic out-of-distribution detection solution comprises the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we propose to perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose to replace the entropic score with the minimum distance score. Our experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless. Code available at out-of-distribution detection.
updated: Sun Jul 18 2021 04:02:03 GMT+0000 (UTC)
published: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト