arXiv reaDer
大規模な実データセットを使用した夜間のシーン解析
Night-time Scene Parsing with a Large Real Dataset
近年、シーン分析は大きく進歩していますが、既存の作品のほとんどは、入力画像が日中の良好な照明条件であると想定しています。この作業では、2つの主な課題がある夜間シーン解析(NTSP)の問題に対処することを目指しています。1)ラベル付けされた夜間データが不足していること、および2)露出過多と露出不足が同時に発生する可能性があることです。夜間の画像を入力し、既存のパイプラインで明示的にモデル化されていません。夜間データの不足に対処するために、グラウンドトゥルースピクセルレベルのセマンティックアノテーションを備えた4,297の実際の夜間画像のNightCityという名前の新しいラベル付きデータセットを収集します。私たちの知る限り、NightCityはNTSPの最大のデータセットです。さらに、明示的に学習された露出機能でセグメンテーションプロセスを強化することにより、NTSP問題に対処するための露出認識フレームワークも提案します。広範な実験により、NightCityでのトレーニングによりNTSPのパフォーマンスが大幅に向上し、露出を意識したモデルが最先端の方法よりも優れており、既存のデータセットだけでなくデータセットでも最高のパフォーマンスが得られることが示されています。
Although huge progress has been made on scene analysis in recent years, most existing works assume the input images to be in day-time with good lighting conditions. In this work, we aim to address the night-time scene parsing (NTSP) problem, which has two main challenges: 1) labeled night-time data are scarce, and 2) over- and under-exposures may co-occur in the input night-time images and are not explicitly modeled in existing pipelines. To tackle the scarcity of night-time data, we collect a novel labeled dataset, named NightCity, of 4,297 real night-time images with ground truth pixel-level semantic annotations. To our knowledge, NightCity is the largest dataset for NTSP. In addition, we also propose an exposure-aware framework to address the NTSP problem through augmenting the segmentation process with explicitly learned exposure features. Extensive experiments show that training on NightCity can significantly improve NTSP performances and that our exposure-aware model outperforms the state-of-the-art methods, yielding top performances on our dataset as well as existing datasets.
updated: Sun Oct 24 2021 08:23:12 GMT+0000 (UTC)
published: Sun Mar 15 2020 18:11:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト