arXiv reaDer
Addressing Failure Prediction by Learning Model Confidence
  ディープニューラルネットワークの信頼性を確実に評価し、その故障を予測することは、これらのモデルの実用的な展開にとって最も重要です。この論文では、真のクラス確率(TCP)に対応するモデル信頼度の新しいターゲット基準を提案します。 TCPの使用が、従来の最大クラス確率(MCP)に依存するよりもどのように適しているかを示します。さらに、障害予測のコンテキストでTCPの理論的保証を提供します。真のクラスは本質的にテスト時に不明であるため、このコンテキストに適合した特定の学習スキームを導入して、トレーニングセットでTCP基準を学習することを提案します。提案されたアプローチの関連性を検証するために、広範な実験が行われています。さまざまなネットワークアーキテクチャ、画像分類およびセマンティックセグメンテーションのための小規模および大規模なデータセットを研究しています。私たちのアプローチは、MCPからベイジアン不確実性までのいくつかの強力な方法と、故障予測専用に設計された最近のアプローチよりも常に優れていることを示しています。
Assessing reliably the confidence of a deep neural network and predicting its failures is of primary importance for the practical deployment of these models. In this paper, we propose a new target criterion for model confidence, corresponding to the True Class Probability (TCP). We show how using the TCP is more suited than relying on the classic Maximum Class Probability (MCP). We provide in addition theoretical guarantees for TCP in the context of failure prediction. Since the true class is by essence unknown at test time, we propose to learn TCP criterion on the training set, introducing a specific learning scheme adapted to this context. Extensive experiments are conducted for validating the relevance of the proposed approach. We study various network architectures, small and large scale datasets for image classification and semantic segmentation. We show that our approach consistently outperforms several strong methods, from MCP to Bayesian uncertainty, as well as recent approaches specifically designed for failure prediction.
updated: Sat Oct 26 2019 15:09:46 GMT+0000 (UTC)
published: Tue Oct 01 2019 08:23:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト