arXiv reaDer
深さ推定を使用したドメインシフト下でのセマンティックセグメンテーションの偽の負の減少
False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation
最先端のディープニューラルネットワークは、セマンティックセグメンテーションで卓越したパフォーマンスを発揮します。ただし、それらのパフォーマンスは、トレーニングデータによって表されるドメインに関連付けられています。オープンワールドシナリオは不正確な予測を引き起こし、自動運転などの安全関連アプリケーションでは危険です。この作業では、単眼深度推定を使用してセグメンテーションセグメンテーション予測を強化し、ドメインシフトが存在する場合に検出されないオブジェクトの発生を減らすことでセグメンテーションを改善します。この目的のために、特定のセマンティックセグメンテーションネットワークと並行して動作する、前景と背景のマスクを生成する修正されたセグメンテーションネットワークを介して深度ヒートマップを推測します。両方のセグメンテーションマスクは、フォアグラウンドクラス(ここでは道路利用者)に焦点を合わせて集約され、フォールスネガティブを減らします。また、誤検知の発生を減らすために、不確実性の推定に基づいて剪定を適用します。私たちのアプローチは、セマンティックセグメンテーションネットワークの出力を後処理するという意味でモジュール式です。私たちの実験では、基本的なセマンティックセグメンテーション予測と比較して、最も重要なクラスの検出されないオブジェクトが少なく、他のドメインへの一般化が強化されていることがわかります。
State-of-the-art deep neural networks demonstrate outstanding performance in semantic segmentation. However, their performance is tied to the domain represented by the training data. Open world scenarios cause inaccurate predictions which is hazardous in safety relevant applications like automated driving. In this work, we enhance semantic segmentation predictions using monocular depth estimation to improve segmentation by reducing the occurrence of non-detected objects in presence of domain shift. To this end, we infer a depth heatmap via a modified segmentation network which generates foreground-background masks, operating in parallel to a given semantic segmentation network. Both segmentation masks are aggregated with a focus on foreground classes (here road users) to reduce false negatives. To also reduce the occurrence of false positives, we apply a pruning based on uncertainty estimates. Our approach is modular in a sense that it post-processes the output of any semantic segmentation network. In our experiments, we observe less non-detected objects of most important classes and an enhanced generalization to other domains compared to the basic semantic segmentation prediction.
updated: Thu Jul 07 2022 18:02:29 GMT+0000 (UTC)
published: Thu Jul 07 2022 18:02:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト