arXiv reaDer
Hyperparameter-Free Out-of-Distribution Detection Using Softmax of Scaled Cosine Similarity
 分布外(OOD)サンプルを検出する機能は、実際のアプリケーションでディープニューラルネットワークの信頼性を確保するために不可欠です。 OODサンプルの性質を考慮すると、検出方法には、受信OODサンプルに応じて調整する必要があるハイパーパラメーターを含めるべきではありません。ただし、最近提案された方法のほとんどはこの要件を満たしていないため、実際のアプリケーションではパフォーマンスが低下します。この論文では、スケーリングされたコサイン類似度のソフトマックスに基づいた、シンプルでハイパーパラメータのない方法を提案します。これは、現代の計量学習法で採用されているアプローチに似ていますが、詳細が異なります。違いは、高い検出性能を実現するために不可欠です。実験を通じて、本手法が、ハイパーパラメータ依存性の上記の問題を考慮した、Shafaei et al。によって最近提案された評価テストで既存の手法よりも優れていることを示します。また、明示的なOODサンプルを使用してハイパーパラメーターを選択する従来のテストで、他のメソッドと少なくとも同等のパフォーマンスを達成することも示しています。さらに、単一のフォワードパスのみを必要とするため、以前のほとんどの方法よりも計算的に効率的です。
The ability to detect out-of-distribution (OOD) samples is vital to secure the reliability of deep neural networks in real-world applications. Considering the nature of OOD samples, detection methods should not have hyperparameters that need to be tuned depending on incoming OOD samples. However, most of the recently proposed methods do not meet this requirement, leading to compromised performance in real-world applications. In this paper, we propose a simple, hyperparameter-free method based on softmax of scaled cosine similarity. It resembles the approach employed by modern metric learning methods, but it differs in details; the differences are essential to achieve high detection performance. We show through experiments that our method outperforms the existing methods on the evaluation test recently proposed by Shafaei et al., which takes the above issue of hyperparameter dependency into account. We also show that it achieves at least comparable performance to other methods on the conventional test, where their hyperparameters are chosen using explicit OOD samples. Furthermore, it is computationally more efficient than most of the previous methods, since it needs only a single forward pass.
updated: Tue Nov 26 2019 03:55:52 GMT+0000 (UTC)
published: Sat May 25 2019 16:33:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト