信頼性の高い確率推定は、天気予報、医療予測、自動運転車の衝突回避など、固有の不確実性が存在する多くの実際のアプリケーションで非常に重要です。確率推定モデルは、観察された結果(たとえば、雨が降ったかどうか、または患者が死亡したかどうか)に基づいてトレーニングされます。これは、対象となるイベントのグラウンドトゥルース確率が通常は不明であるためです。したがって、問題は二項分類に類似していますが、目的が特定の結果を予測するのではなく確率を推定することであるという重要な違いがあります。この作業の目的は、ディープニューラルネットワークを使用して高次元データからの確率推定を調査することです。これらのモデルによって生成される確率を改善する方法はいくつかありますが、それらは主に、確率がモデルの不確実性に関連している分類問題に焦点を当てています。固有の不確実性を伴う問題の場合、グラウンドトゥルース確率にアクセスせずにパフォーマンスを評価することは困難です。これに対処するために、さまざまな計算可能なメトリックを調査および比較するための合成データセットを構築します。合成データと3つの実際の確率推定タスクで既存の方法を評価します。これらはすべて、レーダー画像からの降水量予測、組織病理学画像からの癌患者の生存の予測、ダッシュカムビデオからの自動車事故の予測という固有の不確実性を伴います。最後に、ニューラルネットワークを使用した確率推定の新しい方法も提案します。これは、トレーニングプロセスを変更して、データから計算された経験的確率と一致する出力確率を促進します。この方法は、シミュレーションデータと実際のデータのほとんどのメトリックで既存のアプローチよりも優れています。
Reliable probability estimation is of crucial importance in many real-world applications where there is inherent uncertainty, such as weather forecasting, medical prognosis, or collision avoidance in autonomous vehicles. Probability-estimation models are trained on observed outcomes (e.g. whether it has rained or not, or whether a patient has died or not), because the ground-truth probabilities of the events of interest are typically unknown. The problem is therefore analogous to binary classification, with the important difference that the objective is to estimate probabilities rather than predicting the specific outcome. The goal of this work is to investigate probability estimation from high-dimensional data using deep neural networks. There exist several methods to improve the probabilities generated by these models but they mostly focus on classification problems where the probabilities are related to model uncertainty. In the case of problems with inherent uncertainty, it is challenging to evaluate performance without access to ground-truth probabilities. To address this, we build a synthetic dataset to study and compare different computable metrics. We evaluate existing methods on the synthetic data as well as on three real-world probability estimation tasks, all of which involve inherent uncertainty: precipitation forecasting from radar images, predicting cancer patient survival from histopathology images, and predicting car crashes from dashcam videos. Finally, we also propose a new method for probability estimation using neural networks, which modifies the training process to promote output probabilities that are consistent with empirical probabilities computed from the data. The method outperforms existing approaches on most metrics on the simulated as well as real-world data.