arXiv reaDer
Isotropy Maximization Loss and Entropic Score: Accurate, Fast, Efficient, Scalable, and Turnkey Neural Networks Out-of-Distribution Detection Based on The Principle of Maximum Entropy
現在の配信外(OOD)検出アプローチでは、ソリューションに望ましくない副作用を追加する煩雑な手順が必要です。このホワイトペーパーでは、ニューラルネットワークのOOD検出性能が低いのは、クロスエントロピーSoftMax損失の異方性と、最大エントロピーの原理との正面の不一致で低エントロピー(高信頼性)事後確率分布を生成する極端な傾向が原因であると主張します。したがって、等エントロピー(距離ベース)であり、クロスエントロピー最小化に依然依拠しているにもかかわらず、高いエントロピー(信頼度が低い)事後確率分布を生成する損失であるIsoMaxを提案します。さらに、OOD検出のための迅速なエントロピースコアを提案します。 IsoMax損失は、シームレスなSoftMax損失のドロップイン交換として機能し、ソリューション全体を正確、高速、効率的、スケーラブル、ターンキーに保ちます。私たちの実験は、ニューラルネットワークのOOD検出パフォーマンスが、敵対的なトレーニングや検証、データ拡張、アンサンブル手法、生成手法、モデルのアーキテクチャの変更、メトリック学習、または追加の分類子や回帰などの手法に依存せずに非常に改善されることを確かに確認しました。結果はまた、私たちの簡単なアプローチが、以前の方法の望ましくない欠点を回避することに加えて、最新のソリューションに対して競争力があることも示しました。
Current out-of-distribution (OOD) detection approaches require cumbersome procedures that add undesired side effects to the solution. In this paper, we argue that the low OOD detection performance of neural networks is due to cross-entropy SoftMax loss anisotropy and extreme propensity to produce low entropy (high confidence) posterior probability distributions in frontal disagreement with the Principle of Maximum Entropy. Consequently, we propose IsoMax, a loss that is isotropic (distance-based) and produces high entropy (low confidence) posterior probability distributions despite still relying on cross-entropy minimization. Additionally, we propose a speedy Entropic Score for OOD detection. IsoMax loss works as a seamless SoftMax loss drop-in replacement that keeps the overall solution accurate, fast, efficient, scalable, and turnkey. Our experiments indeed confirmed that neural networks OOD detection performance may be extremely improved without relying on techniques such as adversarial training or validation, data augmentation, ensembles methods, generative approaches, model architectural changes, metric learning, or additional classifiers or regressions. The results also showed that our straightforward approach is competitive against state-of-the-art solutions besides avoiding previous methods undesired drawbacks.
updated: Mon Aug 03 2020 06:37:15 GMT+0000 (UTC)
published: Thu Aug 15 2019 14:54:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト