arXiv reaDer
注意深い畳み込みネットワークを使用した単一画像からの付着性ミストと雨滴の除去
Adherent Mist and Raindrop Removal from a Single Image Using Attentive Convolutional Network
フロントガラスやカメラレンズなど、ガラスに付着した温度差によるミストは、不均一で不明瞭であることが多く、視界を遮りやすく、画像を著しく劣化させます。付着した雨滴とともに、それらはさまざまな視覚システムにかなりの課題をもたらしますが、十分な注意が必要ではありません。他の同様の問題に対する最近の方法は、通常、手作りの事前分布を使用して空間的注意マップを生成します。この作品では、霧や雨滴の付着による画像劣化の問題を新たに提示します。付着したミストと雨滴を単一の画像から視覚的に除去するために、注意深い畳み込みネットワークが採用されています。一般的なチャネルごとの注意、空間的注意、およびマルチレベルの特徴融合を備えたベースラインアーキテクチャが使用されます。付着した霧と雨滴の変動と地域特性を考慮して、補間ベースのピラミッド注意ブロックを適用して、さまざまなスケールで空間情報を認識します。実験は、提案された方法が、質的および量的の両方で、ひどく劣化した画像の可視性を改善できることを示している。より多くの応用実験は、この過小評価された実際的な問題が高レベルの視覚シーンにとって重要であることを示しています。私たちの方法は、付着したミストや雨滴を処理するタスクに加えて、従来の曇り除去や純粋な雨滴除去の問題に対しても最先端のパフォーマンスを実現します。
Temperature difference-induced mist adhered to the glass, such as windshield, camera lens, is often inhomogeneous and obscure, easily obstructing the vision and severely degrading the image. Together with adherent raindrops, they bring considerable challenges to various vision systems but without enough attention. Recent methods for other similar problems typically use hand-crafted priors to generate spatial attention maps. In this work, we newly present a problem of image degradation caused by adherent mist and raindrops. An attentive convolutional network is adopted to visually remove the adherent mist and raindrop from a single image. A baseline architecture with general channel-wise attention, spatial attention, and multilevel feature fusion is used. Considering the variations and regional characteristics of adherent mist and raindrops, we apply interpolation-based pyramid-attention blocks to perceive spatial information at different scales. Experiments show that the proposed method can improve severely degraded images' visibility, both qualitatively and quantitatively. More applied experiments show that this underrated practical problem is critical to high-level vision scenes. Our method also achieves state-of-the-art performance on conventional dehazing and pure de-raindrop problems, in addition to our task of handling adherent mist and raindrops.
updated: Thu Nov 26 2020 12:38:39 GMT+0000 (UTC)
published: Thu Sep 03 2020 06:17:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト