単一の画像からの表面法線推定は、3Dシーンを理解する上で重要なタスクです。この論文では、既存の方法に共通する2つの制限、つまり偶然性の不確実性を推定できないことと、予測の詳細が不足していることについて説明します。提案されたネットワークは、ピクセルごとの表面法線確率分布を推定します。分布の新しいパラメーター化を導入します。これにより、その負の対数尤度は、学習された減衰を伴う角度損失になります。次に、角度誤差の期待値が偶然性の不確実性の尺度として使用されます。また、推定された不確実性に基づいてサンプリングされたピクセルのサブセットでピクセル単位の多層パーセプトロンがトレーニングされる新しいデコーダーフレームワークを紹介します。提案された不確実性に基づくサンプリングは、大きな平面へのトレーニングの偏りを防ぎ、特にオブジェクトの境界付近や小さな構造物での予測の品質を向上させます。実験結果は、提案された方法がScanNetおよびNYUv2の最新技術よりも優れていること、および推定された不確実性が予測誤差とよく相関していることを示しています。コードはhttps://github.com/baegwangbin/surface_normal_uncertaintyで入手できます。
Surface normal estimation from a single image is an important task in 3D scene understanding. In this paper, we address two limitations shared by the existing methods: the inability to estimate the aleatoric uncertainty and lack of detail in the prediction. The proposed network estimates the per-pixel surface normal probability distribution. We introduce a new parameterization for the distribution, such that its negative log-likelihood is the angular loss with learned attenuation. The expected value of the angular error is then used as a measure of the aleatoric uncertainty. We also present a novel decoder framework where pixel-wise multi-layer perceptrons are trained on a subset of pixels sampled based on the estimated uncertainty. The proposed uncertainty-guided sampling prevents the bias in training towards large planar surfaces and improves the quality of prediction, especially near object boundaries and on small structures. Experimental results show that the proposed method outperforms the state-of-the-art in ScanNet and NYUv2, and that the estimated uncertainty correlates well with the prediction error. Code is available at https://github.com/baegwangbin/surface_normal_uncertainty.