雨の筋は深刻なぼやけと視覚的品質の低下をもたらし、サイズ、方向、密度が異なることがよくあります。現在のCNNベースの方法は、雨の特徴を描写し、視界の悪い環境で画像の詳細を復元することに限定されていますが、有望なパフォーマンスを実現しています。これらの問題に対処するために、マルチスケールの砂時計階層融合ネットワーク(MH2F-Net)をエンドツーエンドで提示し、マルチスケールの抽出、階層的な蒸留、および情報の集約によって雨の筋の特徴を正確にキャプチャします。特徴をより適切に抽出するために、新しいマルチスケール砂時計抽出ブロック(MHEB)が提案され、ダウンサンプルプロセスとアップサンプルプロセスを通じて、さまざまなスケールにわたってローカルおよびグローバルな特徴を取得します。さらに、Hierarchical Attentive Distillation Block(HADB)は、デュアルアテンション機能の応答を使用して、階層機能を適応的に再調整し、冗長な機能を排除します。さらに、Residual Projected Feature Fusion(RPFF)戦略を導入して、特徴学習を段階的に識別し、直接連結または追加するのではなく、さまざまな特徴を集約します。合成データセットと実際の雨データセットの両方での広範な実験は、最近の最先端の排水アルゴリズムと比較することにより、設計されたMH2F-Netの有効性を示しています。ソースコードはGitHubで入手できます:https://github.com/cxtalk/MH2F-Net。
Rain streaks bring serious blurring and visual quality degradation, which often vary in size, direction and density. Current CNN-based methods achieve encouraging performance, while are limited to depict rain characteristics and recover image details in the poor visibility environment. To address these issues, we present a Multi-scale Hourglass Hierarchical Fusion Network (MH2F-Net) in end-to-end manner, to exactly captures rain streak features with multi-scale extraction, hierarchical distillation and information aggregation. For better extracting the features, a novel Multi-scale Hourglass Extraction Block (MHEB) is proposed to get local and global features across different scales through down- and up-sample process. Besides, a Hierarchical Attentive Distillation Block (HADB) then employs the dual attention feature responses to adaptively recalibrate the hierarchical features and eliminate the redundant ones. Further, we introduce a Residual Projected Feature Fusion (RPFF) strategy to progressively discriminate feature learning and aggregate different features instead of directly concatenating or adding. Extensive experiments on both synthetic and real rainy datasets demonstrate the effectiveness of the designed MH2F-Net by comparing with recent state-of-the-art deraining algorithms. Our source code will be available on the GitHub: https://github.com/cxtalk/MH2F-Net.