雨のシーンから取得した画像は、通常、視界が悪く、コンピュータビジョンアプリケーションのパフォーマンスを損なう可能性があります。雨のシナリオは、中程度の雨と大雨のシーンの2つのクラスに分類できます。中程度の雨のシーンは主に雨の筋で構成され、大雨のシーンには雨の筋とベール効果(もやに似ています)の両方が含まれます。既存の方法は、これら2つのケースで個別に優れたパフォーマンスを達成しましたが、大雨と中程度の雨の両方のシナリオに効果的に対処するための一般的なアーキテクチャがまだ不足しています。この論文では、コンターレット変換(CT)を使用して、中程度の雨と大雨の両方のシナリオに対処することにより、階層的な多方向表現ネットワークを構築します。 CTは、画像を多方向サブバンド(MS)とセマンティックサブバンド(SS)に分割します。まず、CTの多方向特性に基づいて、雨の筋情報がMSに取得されます。第二に、損傷した意味情報とSSのベール効果を含む背景情報を再構築するために、階層アーキテクチャが提案されます。最後に、フィードバックエラーマップを備えたマルチレベルサブバンド弁別器を提案します。このモジュールにより、すべてのサブバンドを適切に最適化できます。これは、2つのシナリオの両方に効果的に対処できる最初のアーキテクチャです。コードはhttps://github.com/cctakaet/ContourletNet-BMVC2021で入手できます。
Images acquired from rainy scenes usually suffer from bad visibility which may damage the performance of computer vision applications. The rainy scenarios can be categorized into two classes: moderate rain and heavy rain scenes. Moderate rain scene mainly consists of rain streaks while heavy rain scene contains both rain streaks and the veiling effect (similar to haze). Although existing methods have achieved excellent performance on these two cases individually, it still lacks a general architecture to address both heavy rain and moderate rain scenarios effectively. In this paper, we construct a hierarchical multi-direction representation network by using the contourlet transform (CT) to address both moderate rain and heavy rain scenarios. The CT divides the image into the multi-direction subbands (MS) and the semantic subband (SS). First, the rain streak information is retrieved to the MS based on the multi-orientation property of the CT. Second, a hierarchical architecture is proposed to reconstruct the background information including damaged semantic information and the veiling effect in the SS. Last, the multi-level subband discriminator with the feedback error map is proposed. By this module, all subbands can be well optimized. This is the first architecture that can address both of the two scenarios effectively. The code is available in https://github.com/cctakaet/ContourletNet-BMVC2021.