arXiv reaDer
等尺性距離と最小距離スコアを使用したエントロピー分布外検出の改善
Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score
現在の分布外検出アプローチは、通常、特別な要件 (たとえば、外れ値データの収集とハイパーパラメーターの検証) を提示し、副作用 (分類精度の低下と低速/非効率的な推論) を生み出します。最近、エントロピー分布外検出がシームレスなアプローチ (つまり、前述のすべての欠点を回避するソリューション) として提案されています。エントロピー分布外検出ソリューションは、トレーニング用の IsoMax 損失と、分布外検出用のエントロピー スコアで構成されます。 IsoMax 損失を IsoMax 損失と交換することで、モデルのアーキテクチャやトレーニング手順/ハイパーパラメータを変更する必要がないため、IsoMax 損失は SoftMax 損失ドロップイン置換として機能します。この論文では、IsoMax 損失で使用される距離の等方化と呼ばれるものを実行することを提案します。さらに、エントロピー スコアを最小距離スコアに置き換えることを提案します。私たちの実験では、これらの単純な変更により、ソリューションをシームレスに保ちながら、配信外検出のパフォーマンスが向上することがわかりました。
Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all the previously mentioned drawbacks). The entropic out-of-distribution detection solution comprises the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we propose to perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose to replace the entropic score with the minimum distance score. Our experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless.
updated: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
published: Sun May 30 2021 00:55:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト