自動運転における視覚は、さまざまな交通状況で安全かつ持続的にナビゲートするための車両の重要な部分です。しかし、大雨やもやなどの悪天候では、視覚のパフォーマンスはいくつかの劣化効果の影響を大きく受けます。最近、深層学習ベースの知覚方法は、実際の悪天候のケースを反映するために複数の劣化効果に対処しましたが、1)モバイルデバイスへの展開にかかる計算コストが高く、2)画像の強調と視覚の関連性が低いために成功は限られています。モデル能力の条件。これらの問題を解決するために、悪天候によって破損した画像を入力として取り込む、高レベル視覚タスクに接続されたタスク駆動型画像強調ネットワークを提案します。具体的には、新しい低メモリネットワークを導入して、高密度ブロックのほとんどのレイヤー接続を削減し、高いパフォーマンスを維持しながら、メモリと計算コストを削減します。また、画像の高品質な復元と高精度の知覚の両方に適した高レベルのタスクモデルを堅牢にガイドするための新しいタスク駆動型トレーニング戦略を紹介します。実験結果は、提案された方法が、低メモリと精度の両方の観点から、主に悪天候下での車線および2Dオブジェクト検出と深度推定の間のパフォーマンスを改善することを示しています。
Visual perception in autonomous driving is a crucial part of a vehicle to navigate safely and sustainably in different traffic conditions. However, in bad weather such as heavy rain and haze, the performance of visual perception is greatly affected by several degrading effects. Recently, deep learning-based perception methods have addressed multiple degrading effects to reflect real-world bad weather cases but have shown limited success due to 1) high computational costs for deployment on mobile devices and 2) poor relevance between image enhancement and visual perception in terms of the model ability. To solve these issues, we propose a task-driven image enhancement network connected to the high-level vision task, which takes in an image corrupted by bad weather as input. Specifically, we introduce a novel low memory network to reduce most of the layer connections of dense blocks for less memory and computational cost while maintaining high performance. We also introduce a new task-driven training strategy to robustly guide the high-level task model suitable for both high-quality restoration of images and highly accurate perception. Experiment results demonstrate that the proposed method improves the performance among lane and 2D object detection, and depth estimation largely under adverse weather in terms of both low memory and accuracy.