arXiv reaDer
WeatherNet: Recognising weather and visual conditions from street-level images using deep residual learning
  与えられた時間と空間での気象と視覚条件に関連する情報を抽出することは、単に街を歩くことから自転車に乗ること、車を運転すること、または自動運転支援まで、私たちの行動に大きな影響を与えるシーン認識に不可欠です。この主題の重要性にもかかわらず、天候や視覚条件の複数のラベルを練習に簡単に使用できる統一された方法で検出するために、ディープラーニングとコンピュータービジョンに依存するマシンインテリジェンスによってまだ完全に対処されていません。これまでに達成されたのは、広範囲の天候と視覚条件をカバーしない限られた数のラベルに対処するかなりセクター的なモデルです。それにもかかわらず、天気と視覚条件はしばしば個別に扱われます。この論文では、処理済み画像に事前に定義された制約なしに統一された方法を使用して、ディープラーニングとコンピュータービジョンに依存する街路レベルの画像からこの情報を自動的に抽出する新しいフレームワークを紹介します。 WeatherNetと呼ばれる4つの深い畳み込みニューラルネットワーク(CNN)モデルのパイプラインがトレーニングされ、ResNet50アーキテクチャを使用した残差学習に依存して、夜明け/夕暮れ、昼夜などのさまざまな天気と視覚条件を抽出して時間を検出し、照明条件の場合はまぶしさ、気象条件の場合は晴れ、雨、雪、霧。 WeatherNetは、これらの情報をユーザー定義の画像またはビデオストリームから抽出する際に強力なパフォーマンスを発揮します。これは、自動車両および運転支援システム、追跡行動、安全関連の研究、または政策立案者。
Extracting information related to weather and visual conditions at a given time and space is indispensable for scene awareness, which strongly impacts our behaviours, from simply walking in a city to riding a bike, driving a car, or autonomous drive-assistance. Despite the significance of this subject, it is still not been fully addressed by the machine intelligence relying on deep learning and computer vision to detect the multi-labels of weather and visual conditions with a unified method that can be easily used for practice. What has been achieved to-date is rather sectorial models that address limited number of labels that do not cover the wide spectrum of weather and visual conditions. Nonetheless, weather and visual conditions are often addressed individually. In this paper, we introduce a novel framework to automatically extract this information from street-level images relying on deep learning and computer vision using a unified method without any pre-defined constraints in the processed images. A pipeline of four deep Convolutional Neural Network (CNN) models, so-called the WeatherNet, is trained, relying on residual learning using ResNet50 architecture, to extract various weather and visual conditions such as Dawn/dusk, day and night for time detection, and glare for lighting conditions, and clear, rainy, snowy, and foggy for weather conditions. The WeatherNet shows strong performance in extracting this information from user-defined images or video streams that can be used not limited to: autonomous vehicles and drive-assistance systems, tracking behaviours, safety-related research, or even for better understanding cities through images for policy-makers.
updated: Tue Oct 22 2019 12:03:44 GMT+0000 (UTC)
published: Tue Oct 22 2019 12:03:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト