arXiv reaDer
DANNet:教師なし夜間セマンティックセグメンテーションのための1段階ドメイン適応ネットワーク
DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation
自動運転では、夜間画像のセマンティックセグメンテーションが昼間画像と同様に重要な役割を果たしますが、前者は照明が不十分で人間の注釈が難しいため、はるかに困難です。本論文では、ラベル付けされた夜間画像データを使用せずに夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案します。ラベル付きの昼間データセットと、粗く整列された昼夜の画像ペアを含むラベルなしのデータセットを使用した敵対的なトレーニングを採用しています。具体的には、ラベルのない昼と夜の画像ペアの場合、対応する夜間の画像をセグメント化するための疑似監視として、昼間の画像の静的オブジェクトカテゴリのピクセルレベルの予測を使用します。さらに、昼夜の画像ペア間の不整合と昼間の画像の誤った予測によって引き起こされる不正確さを処理し、小さなオブジェクトの予測精度を高めるために、再重み付け戦略を設計します。提案されたDANNetは、夜間のセマンティックセグメンテーションのための最初の1段階の適応フレームワークであり、追加の昼夜の画像転送モデルを別個の前処理段階としてトレーニングしません。 DarkZurichとNighttimeDrivingのデータセットに関する広範な実験は、私たちの方法が夜間のセマンティックセグメンテーションの最先端のパフォーマンスを達成することを示しています。
Semantic segmentation of nighttime images plays an equally important role as that of daytime images in autonomous driving, but the former is much more challenging due to poor illuminations and arduous human annotations. In this paper, we propose a novel domain adaptation network (DANNet) for nighttime semantic segmentation without using labeled nighttime image data. It employs an adversarial training with a labeled daytime dataset and an unlabeled dataset that contains coarsely aligned day-night image pairs. Specifically, for the unlabeled day-night image pairs, we use the pixel-level predictions of static object categories on a daytime image as a pseudo supervision to segment its counterpart nighttime image. We further design a re-weighting strategy to handle the inaccuracy caused by misalignment between day-night image pairs and wrong predictions of daytime images, as well as boost the prediction accuracy of small objects. The proposed DANNet is the first one stage adaptation framework for nighttime semantic segmentation, which does not train additional day-night image transfer models as a separate pre-processing stage. Extensive experiments on Dark Zurich and Nighttime Driving datasets show that our method achieves state-of-the-art performance for nighttime semantic segmentation.
updated: Thu Apr 22 2021 02:49:28 GMT+0000 (UTC)
published: Thu Apr 22 2021 02:49:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト