画像やビデオに現れる雨の筋は、コンピュータビジョンアプリケーションのパフォーマンスを大幅に低下させます。したがって、雨の筋を取り除き、視覚システムを促進することが非常に重要です。最近の畳み込みニューラルネットワークベースの方法は、単一画像の雨除去(SIRR)で有望な結果を示していますが、長距離の位置依存性を効果的にキャプチャしたり、畳み込みチャネル情報を同時に集約したりすることはできません。ただし、SIRRは非常に不適切な問題であるため、これらの空間情報とチャネル情報は、SIRRを解決するための非常に重要な手がかりになります。まず、空間情報は、画像に隠された長距離の依存関係の場所情報を収集することにより、モデルが画像のコンテキストを理解するのに役立ちます。次に、チャネルを集約することで、モデルが雨の筋ではなく、画像の背景に関連するチャネルに集中できるようになります。本論文では、SIRR問題に対処するために非ローカルチャネル集約ネットワーク(NCANet)を提案します。 NCANetは、2D雨画像を、垂直方向、横方向、チャネル方向の3つの方向のベクトルのシーケンスとしてモデル化します。 3つの方向すべてから情報を繰り返し集約することで、モデルはチャネルと空間位置の両方で長距離の依存関係をキャプチャできます。大雨と小雨の両方の画像データセットに関する広範な実験は、提案されたNCANetモデルの有効性を示しています。
Rain streaks showing in images or videos would severely degrade the performance of computer vision applications. Thus, it is of vital importance to remove rain streaks and facilitate our vision systems. While recent convolutinal neural network based methods have shown promising results in single image rain removal (SIRR), they fail to effectively capture long-range location dependencies or aggregate convolutional channel information simultaneously. However, as SIRR is a highly illposed problem, these spatial and channel information are very important clues to solve SIRR. First, spatial information could help our model to understand the image context by gathering long-range dependency location information hidden in the image. Second, aggregating channels could help our model to concentrate on channels more related to image background instead of rain streaks. In this paper, we propose a non-local channel aggregation network (NCANet) to address the SIRR problem. NCANet models 2D rainy images as sequences of vectors in three directions, namely vertical direction, transverse direction and channel direction. Recurrently aggregating information from all three directions enables our model to capture the long-range dependencies in both channels and spaitials locations. Extensive experiments on both heavy and light rain image data sets demonstrate the effectiveness of the proposed NCANet model.