トレーニング中、ディープニューラルネットワーク(DNN)の重みは、ランダムな初期化からほぼ最適な値に向かって最適化され、損失関数が最小化されます。通常、ウェイトのこの最終状態のみがテスト用に保持されますが、ウェイトスペースのジオメトリに関する豊富な情報は、最小値への降下中に蓄積されて破棄されます。この作業では、この知識を利用して、DNNの重みの分布を計算するためにそれを活用することを提案します。これは、これらの分布からネットワークのアンサンブルをサンプリングすることにより、DNNの認識論的不確実性を推定するためにさらに使用できます。この目的のために、最適化中に重みの軌跡を追跡する方法を紹介します。これは、アーキテクチャやトレーニング手順を変更する必要がありません。標準的な分類と回帰のベンチマーク、および分類とセマンティックセグメンテーションの分布外検出についてメソッドを評価します。他の一般的なアプローチと比較して計算効率を維持しながら、競争力のある結果を達成します。
During training, the weights of a Deep Neural Network (DNN) are optimized from a random initialization towards a nearly optimum value minimizing a loss function. Only this final state of the weights is typically kept for testing, while the wealth of information on the geometry of the weight space, accumulated over the descent towards the minimum is discarded. In this work we propose to make use of this knowledge and leverage it for computing the distributions of the weights of the DNN. This can be further used for estimating the epistemic uncertainty of the DNN by sampling an ensemble of networks from these distributions. To this end we introduce a method for tracking the trajectory of the weights during optimization, that does not require any changes in the architecture nor on the training procedure. We evaluate our method on standard classification and regression benchmarks, and on out-of-distribution detection for classification and semantic segmentation. We achieve competitive results, while preserving computational efficiency in comparison to other popular approaches.