深層学習アルゴリズムは、最近、自然および合成の雨データセットの両方で有望な雨の排出性能を達成しました。重要な低レベルの前処理段階として、排水ネットワークは雨の筋を取り除き、細かい意味の詳細を保持する必要があります。ただし、ほとんどの既存の方法では、低レベルの画像の復元のみが考慮されます。そのため、正確なセマンティック情報を必要とする高レベルのタスクでのパフォーマンスが制限されます。この問題に対処するために、この論文では、単一画像のドレインのための対照学習に基づくセグメンテーション対応プログレッシブネットワーク(SAPNet)を提示します。プログレッシブ拡張ユニット(PDU)で形成された軽量ドランネットワークからメソッドを開始します。 PDUは、受容野を大幅に拡大し、マルチスケール画像を大量に計算することなく、マルチスケールの雨の筋を特徴づけることができます。この作業の基本的な側面は、ImageNetとガウスの重みで初期化された教師なし背景セグメンテーション(UBS)ネットワークです。 UBSは、画像のセマンティック情報を忠実に保存し、見えない写真に対する一般化機能を向上させることができます。さらに、モデル学習を調整するために、知覚コントラスト損失(PCL)と学習された知覚画像類似性損失(LPISL)を導入します。雨の画像とグラウンドトゥルースをVGG-16潜在空間のネガティブサンプルとポジティブサンプルとして利用することにより、完全に制約された方法で、雨のイメージとグラウンドトゥルースの間の細かいセマンティックの詳細を橋渡しします。合成および実世界の雨の画像に関する包括的な実験は、私たちのモデルが最高のパフォーマンスの方法を上回り、オブジェクトの検出とセマンティックセグメンテーションをかなりの効果で支援することを示しています。 Pytorchの実装は、https://github.com/ShenZheng2000/SAPNet-for-image-derainingで入手できます。
Deep learning algorithms have recently achieved promising deraining performances on both the natural and synthetic rainy datasets. As an essential low-level pre-processing stage, a deraining network should clear the rain streaks and preserve the fine semantic details. However, most existing methods only consider low-level image restoration. That limits their performances at high-level tasks requiring precise semantic information. To address this issue, in this paper, we present a segmentation-aware progressive network (SAPNet) based upon contrastive learning for single image deraining. We start our method with a lightweight derain network formed with progressive dilated units (PDU). The PDU can significantly expand the receptive field and characterize multi-scale rain streaks without the heavy computation on multi-scale images. A fundamental aspect of this work is an unsupervised background segmentation (UBS) network initialized with ImageNet and Gaussian weights. The UBS can faithfully preserve an image's semantic information and improve the generalization ability to unseen photos. Furthermore, we introduce a perceptual contrastive loss (PCL) and a learned perceptual image similarity loss (LPISL) to regulate model learning. By exploiting the rainy image and groundtruth as the negative and the positive sample in the VGG-16 latent space, we bridge the fine semantic details between the derained image and the groundtruth in a fully constrained manner. Comprehensive experiments on synthetic and real-world rainy images show our model surpasses top-performing methods and aids object detection and semantic segmentation with considerable efficacy. A Pytorch Implementation is available at https://github.com/ShenZheng2000/SAPNet-for-image-deraining.