arXiv reaDer
On the Practicality of Deterministic Epistemic Uncertainty
単一のフォワードパスでディープニューラルネットワークの認識論的不確実性を推定するための一連の新しいアプローチが、ベイズニューラルネットワークの有効な代替手段として最近登場しました。有益な表現を前提として、これらの決定論的不確実性手法(DUM)は、推論時に無視できる計算コストを追加しながら、分布外(OOD)データの検出で強力なパフォーマンスを実現します。ただし、DUMが適切に調整されており、実際のアプリケーションにシームレスに拡張できるかどうかは不明です。どちらも実際の展開の前提条件です。この目的のために、最初にDUMの分類法を提供し、連続分布シフトの下でのキャリブレーションと、画像分類タスクのOOD検出でのパフォーマンスを評価します。次に、最も有望なアプローチをセマンティックセグメンテーションに拡張します。 DUMは現実的なビジョンタスクに合わせてスケーリングし、OOD検出でうまく機能しますが、現在の方法の実用性は、現実的な分布シフトの下での不十分なキャリブレーションによって損なわれることがわかります。
A set of novel approaches for estimating epistemic uncertainty in deep neural networks with a single forward pass has recently emerged as a valid alternative to Bayesian Neural Networks. On the premise of informative representations, these deterministic uncertainty methods (DUMs) achieve strong performance on detecting out-of-distribution (OOD) data while adding negligible computational costs at inference time. However, it remains unclear whether DUMs are well calibrated and can seamlessly scale to real-world applications - both prerequisites for their practical deployment. To this end, we first provide a taxonomy of DUMs, evaluate their calibration under continuous distributional shifts and their performance on OOD detection for image classification tasks. Then, we extend the most promising approaches to semantic segmentation. We find that, while DUMs scale to realistic vision tasks and perform well on OOD detection, the practicality of current methods is undermined by poor calibration under realistic distributional shifts.
updated: Tue Jul 13 2021 19:49:32 GMT+0000 (UTC)
published: Thu Jul 01 2021 17:59:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト