arXiv reaDer
意味論的な夜間画像セグメンテーションのための地図誘導カリキュラムドメイン適応と不確実性を意識した評価
Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
 夜間のアノテーションを使用せずに昼間のモデルを夜間に適応させることで、意味のある夜間の画像セグメンテーションの問題に対処し、最先端の技術を改善します。さらに、夜間の画像におけるセマンティクスの実質的な不確実性に対処するための新しい評価フレームワークを設計します。私たちの中心的な貢献は次のとおりです。1)基準マップからの昼間の画像と暗い画像の間の1日のクロスタイム対応を利用してラベルを導くために、意味論的セグメンテーションモデルを昼から夜へと徐々に暗くするカリキュラムフレームワーク暗い領域での推論。 2)原理的な方法での評価における人間の認識能力を超える画像領域を含む、セマンティックセグメンテーションの新規の不確実性認識注釈および評価フレームワークとメトリック。 3)ダークチューリッヒデータセット。2416のラベルなしの夜間と2920のラベルなしの夕暮れの画像で構成されており、昼間の対応に対応しています。また、プロトコルで作成された細かいピクセルレベルのアノテーションが付いた201の夜間画像のセットは、新しい評価の最初のベンチマークとして機能します。 。実験は、標準の指標と不確実性を意識した指標の両方について、私たちのマップに基づくカリキュラムの適応が夜間セットの最先端の方法を大幅に上回っていることを示しています。さらに、不確実性を意識した評価により、予測を選択的に無効にすると、ベンチマークや無効な入力を含む利益安全志向のアプリケーションなど、あいまいなコンテンツを含むデータの結果を改善できることがわかります。
We address the problem of semantic nighttime image segmentation and improve the state-of-the-art, by adapting daytime models to nighttime without using nighttime annotations. Moreover, we design a new evaluation framework to address the substantial uncertainty of semantics in nighttime images. Our central contributions are: 1) a curriculum framework to gradually adapt semantic segmentation models from day to night through progressively darker times of day, exploiting cross-time-of-day correspondences between daytime images from a reference map and dark images to guide the label inference in the dark domains; 2) a novel uncertainty-aware annotation and evaluation framework and metric for semantic segmentation, including image regions beyond human recognition capability in the evaluation in a principled fashion; 3) the Dark Zurich dataset, comprising 2416 unlabeled nighttime and 2920 unlabeled twilight images with correspondences to their daytime counterparts plus a set of 201 nighttime images with fine pixel-level annotations created with our protocol, which serves as a first benchmark for our novel evaluation. Experiments show that our map-guided curriculum adaptation significantly outperforms state-of-the-art methods on nighttime sets both for standard metrics and our uncertainty-aware metric. Furthermore, our uncertainty-aware evaluation reveals that selective invalidation of predictions can improve results on data with ambiguous content such as our benchmark and profit safety-oriented applications involving invalid inputs.
updated: Thu Jan 07 2021 15:26:43 GMT+0000 (UTC)
published: Thu May 28 2020 16:54:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト