不確実性を認識したパノプティック セグメンテーションが可能なネットワーク ファミリーである ProPanDL を紹介します。既存のセグメンテーション方法とは異なり、ProPanDL は、パノプティック セグメンテーションのセマンティックおよび空間的側面の両方について、完全な確率分布を推定できます。ピクセル単位の空間的不確実性を定量化するパラメトリック (分散ネットワーク) 分布とパラメーターなし (SampleNet) 分布の両方を推定できる ProPanDL バリアントを実装して評価します。これらのアプローチを、セマンティックな不確実性を推定するための 2 つの方法 (温度スケーリングとエビデンシャル ディープ ラーニング) と組み合わせます。不確実性を意識したパノプティック セグメンテーション タスクを評価するために、空間的不確実性と意味的不確実性の個別の評価を可能にする新しいメトリックを提案することにより、既存のアプローチの制限に対処します。さらに、空間出力分布のより堅牢な評価のために、適切なスコアリング規則であるエネルギー スコアの使用を提案します。これらの指標を使用して、ProPanDL バリアントの広範な評価を行います。私たちの結果は、ProPanDL が、基本的なパノプティック セグメンテーション タスクで強力なパフォーマンスを維持しながら、適切に調整された意味のある出力分布を推定できることを示しています。
We introduce ProPanDL, a family of networks capable of uncertainty-aware panoptic segmentation. Unlike existing segmentation methods, ProPanDL is capable of estimating full probability distributions for both the semantic and spatial aspects of panoptic segmentation. We implement and evaluate ProPanDL variants capable of estimating both parametric (Variance Network) and parameter-free (SampleNet) distributions quantifying pixel-wise spatial uncertainty. We couple these approaches with two methods (Temperature Scaling and Evidential Deep Learning) for semantic uncertainty estimation. To evaluate the uncertainty-aware panoptic segmentation task, we address limitations with existing approaches by proposing new metrics that enable separate evaluation of spatial and semantic uncertainty. We additionally propose the use of the energy score, a proper scoring rule, for more robust evaluation of spatial output distributions. Using these metrics, we conduct an extensive evaluation of ProPanDL variants. Our results demonstrate that ProPanDL is capable of estimating well-calibrated and meaningful output distributions while still retaining strong performance on the base panoptic segmentation task.