多くの種類のデータに対して有用な予測を生成するディープ ネットワークの能力は十分に実証されていますが、これらの予測の信頼性を推定することは依然として困難です。 MC-Dropout や Deep Ensembles などのサンプリング手法は、この目的で最も人気のある手法として浮上しています。残念ながら、これらは推論時に多くのフォワード パスを必要とするため、速度が低下します。サンプリングのないアプローチは高速ですが、不確実性推定の信頼性が低い、使用が難しい、さまざまな種類のタスクやデータへの適用が限られているなど、他の欠点があります。この作業では、非常に低い計算コストで最新の方法と同等の信頼性の高い不確実性の推定を生成しながら、一般的で展開が容易なサンプリングのないアプローチを紹介します。これは、出力に関する追加情報がある場合とない場合で同じ出力を生成するようにネットワークをトレーニングすることに基づいています。推論時、事前情報が与えられていない場合、ネットワーク独自の予測を追加情報として使用します。 2 つの予測の違いが正確な不確実性の推定であることを証明し、さまざまなタイプのタスクとアプリケーションに対するアプローチを示します。
Whereas the ability of deep networks to produce useful predictions on many kinds of data has been amply demonstrated, estimating the reliability of these predictions remains challenging. Sampling approaches such as MC-Dropout and Deep Ensembles have emerged as the most popular ones for this purpose. Unfortunately, they require many forward passes at inference time, which slows them down. Sampling-free approaches can be faster but suffer from other drawbacks, such as lower reliability of uncertainty estimates, difficulty of use, and limited applicability to different types of tasks and data. In this work, we introduce a sampling-free approach that is generic and easy to deploy, while producing reliable uncertainty estimates on par with state-of-the-art methods at a significantly lower computational cost. It is predicated on training the network to produce the same output with and without additional information about that output. At inference time, when no prior information is given, we use the network's own prediction as the additional information. We prove that the difference between the two predictions is an accurate uncertainty estimate and demonstrate our approach on various types of tasks and applications.