従来のディープニューラルネットワーク(NN)は、さまざまなアプリケーションドメインでの分類タスクにおける最先端のパフォーマンスに大きく貢献してきました。ただし、NNは、不確実性の下での誤分類が実際の状況での意思決定に高いリスクを容易にもたらす可能性があるクラス確率に関連するデータに固有の不確実性を考慮していません(たとえば、道路内のオブジェクトの誤分類は重大な事故につながります)。重みの不確実性を通じて間接的に不確実性を推測するベイズNNとは異なり、証拠NN(ENN)は、クラス確率の不確実性を明示的にモデル化し、分類タスクに使用するために最近提案されました。 ENNは、主観的意見としてNNの予測の定式化を提供し、データから決定論的NNによって主観的意見を形成できる証拠の量を収集することによって機能を学習します。ただし、ENNは、空孔(つまり、証拠の欠如による不確実性)や不協和(つまり、矛盾する証拠による不確実性)など、さまざまな根本原因を持つデータに固有の不確実性を明示的に考慮せずに、ブラックボックスとしてトレーニングされます。多次元の不確実性を考慮することにより、我々は、分布外(OOD)検出問題を解決するためのWGAN-ENN(WENN)と呼ばれる新しい不確実性を意識した証拠NNを提案しました。 Wasserstein Generative Adversarial Network(WGAN)とENNを組み合わせたハイブリッドアプローチを採用して、OODサンプルの真空度が高い特定のクラスの事前知識を持つモデルを共同でトレーニングしました。合成データセットと実世界のデータセットの両方に基づく広範な経験的実験を通じて、WENNによる不確実性の推定がOODサンプルと境界サンプルの区別に大きく役立つことを実証しました。 WENNは、他の競合他社と比較した場合、OOD検出で優れています。
Traditional deep neural networks (NNs) have significantly contributed to the state-of-the-art performance in the task of classification under various application domains. However, NNs have not considered inherent uncertainty in data associated with the class probabilities where misclassification under uncertainty may easily introduce high risk in decision making in real-world contexts (e.g., misclassification of objects in roads leads to serious accidents). Unlike Bayesian NN that indirectly infer uncertainty through weight uncertainties, evidential NNs (ENNs) have been recently proposed to explicitly model the uncertainty of class probabilities and use them for classification tasks. An ENN offers the formulation of the predictions of NNs as subjective opinions and learns the function by collecting an amount of evidence that can form the subjective opinions by a deterministic NN from data. However, the ENN is trained as a black box without explicitly considering inherent uncertainty in data with their different root causes, such as vacuity (i.e., uncertainty due to a lack of evidence) or dissonance (i.e., uncertainty due to conflicting evidence). By considering the multidimensional uncertainty, we proposed a novel uncertainty-aware evidential NN called WGAN-ENN (WENN) for solving an out-of-distribution (OOD) detection problem. We took a hybrid approach that combines Wasserstein Generative Adversarial Network (WGAN) with ENNs to jointly train a model with prior knowledge of a certain class, which has high vacuity for OOD samples. Via extensive empirical experiments based on both synthetic and real-world datasets, we demonstrated that the estimation of uncertainty by WENN can significantly help distinguish OOD samples from boundary samples. WENN outperformed in OOD detection when compared with other competitive counterparts.