arXiv reaDer
ループを閉じる:解きほぐされた画像変換による共同の雨の生成と除去
Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation
既存の深層学習ベースの画像ドレイン方法は、合成雨画像の有望なパフォーマンスを達成しており、通常、鮮明な画像とシミュレートされた雨の対応物のペアに依存しています。ただし、これらの方法では、単純化された合成雨と複雑な実際の雨の間に大きなギャップがあるため、実際の雨に直面するとパフォーマンスが大幅に低下します。この作品では、雨の発生と除去は同じコインの両面であり、緊密に結合する必要があると主張します。ループを閉じるために、統合された解きほぐされた画像変換フレームワーク内で実際の雨の生成と除去の手順を共同で学習することを提案します。具体的には、双方向のもつれを解いた変換ネットワークを提案します。このネットワークでは、各単方向ネットワークに、実際の雨の画像と合成の雨の画像の両方について、それぞれ2つの共同雨の生成と除去のループが含まれます。一方、私たちは雨の画像をきれいな背景と雨の層に分解することによって解きほぐし戦略を実施し(雨の除去)、サイクルの一貫性の損失と敵対的な損失の両方を介してアイデンティティの背景をよりよく保存し、雨の層がそれらの間を移動するのを容易にします本物の合成雨のイメージ。エンタングルメント戦略を使用した対応する構成は、雨の発生に対称的に適用されます。合成および実世界の雨データセットに関する広範な実験は、最先端の方法と比較して提案された方法の優位性を示しています。
Existing deep learning-based image deraining methods have achieved promising performance for synthetic rainy images, typically rely on the pairs of sharp images and simulated rainy counterparts. However, these methods suffer from significant performance drop when facing the real rain, because of the huge gap between the simplified synthetic rain and the complex real rain. In this work, we argue that the rain generation and removal are the two sides of the same coin and should be tightly coupled. To close the loop, we propose to jointly learn real rain generation and removal procedure within a unified disentangled image translation framework. Specifically, we propose a bidirectional disentangled translation network, in which each unidirectional network contains two loops of joint rain generation and removal for both the real and synthetic rain image, respectively. Meanwhile, we enforce the disentanglement strategy by decomposing the rainy image into a clean background and rain layer (rain removal), in order to better preserve the identity background via both the cycle-consistency loss and adversarial loss, and ease the rain layer translating between the real and synthetic rainy image. A counterpart composition with the entanglement strategy is symmetrically applied for rain generation. Extensive experiments on synthetic and real-world rain datasets show the superiority of proposed method compared to state-of-the-arts.
updated: Thu Mar 25 2021 08:21:43 GMT+0000 (UTC)
published: Thu Mar 25 2021 08:21:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト