arXiv reaDer
NightLab:夜間のセグメンテーションのための硬度検出を備えたデュアルレベルアーキテクチャ
NightLab: A Dual-level Architecture with Hardness Detection for Segmentation at Night
夜間のシーンのセマンティックセグメンテーションは、自動運転車のような影響力のあるアプリケーションの鍵となる難しい問題です。それでも、昼間の対応物と比較してほとんど注目されていません。このホワイトペーパーでは、夜間対応機能を備えた複数の深層学習モデルを活用して、複数の夜間セグメンテーションベンチマークで最先端(SoTA)のパフォーマンスを実現する、新しい夜間セグメンテーションフレームワークであるNightLabを提案します。特に、NightLabには、画像と地域の2つの粒度レベルのモデルが含まれており、各レベルは光適応モジュールとセグメンテーションモジュールで構成されています。夜間の画像が与えられると、画像レベルモデルは初期セグメンテーション推定を提供し、並行して、硬度検出モジュールは、さらなる分析が必要な領域とその周囲のコンテキストを識別します。地域レベルのモデルは、これらの困難な地域に焦点を当てて、大幅に改善されたセグメンテーションを提供します。 NightLabのすべてのモデルは、手作りのヒューリスティックを使用せずに、提案された一連の夜間認識損失を使用してエンドツーエンドでトレーニングされます。 NightCityおよびBDD100Kデータセットに関する広範な実験は、NightLabが並行メソッドと比較してSoTAパフォーマンスを達成することを示しています。
The semantic segmentation of nighttime scenes is a challenging problem that is key to impactful applications like self-driving cars. Yet, it has received little attention compared to its daytime counterpart. In this paper, we propose NightLab, a novel nighttime segmentation framework that leverages multiple deep learning models imbued with night-aware features to yield State-of-The-Art (SoTA) performance on multiple night segmentation benchmarks. Notably, NightLab contains models at two levels of granularity, i.e. image and regional, and each level is composed of light adaptation and segmentation modules. Given a nighttime image, the image level model provides an initial segmentation estimate while, in parallel, a hardness detection module identifies regions and their surrounding context that need further analysis. A regional level model focuses on these difficult regions to provide a significantly improved segmentation. All the models in NightLab are trained end-to-end using a set of proposed night-aware losses without handcrafted heuristics. Extensive experiments on the NightCity and BDD100K datasets show NightLab achieves SoTA performance compared to concurrent methods.
updated: Tue Apr 12 2022 05:50:22 GMT+0000 (UTC)
published: Tue Apr 12 2022 05:50:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト