arXiv reaDer
Rain Removal and Illumination Enhancement Done in One Go
雨の除去は、劣化した画像の復元に重要な役割を果たします。最近、データ駆動型の方法は目覚ましい成功を収めています。ただし、これらのアプローチでは、雨の出現に低照度条件が伴うことが多く、画質がさらに低下することを無視しています。したがって、実際の雨の画像を復元するには、共同で雨を取り除き、光を強化することが非常に不可欠です。この論文では、この問題に2つの側面から取り組むことを目指しています。まず、雨を取り除き、一度に照明を強化できる、新しい絡み合ったネットワーク、つまりEMNetを提案しました。具体的には、2つのエンコーダー-デコーダーネットワークが、絡み合い構造、および並列の雨の除去と照明の強化を通じて補完的な情報を相互作用させます。エンコーダー-デコーダー構造は空間の詳細を保存するのに信頼性が低いことを考慮して、詳細回復ネットワークを使用して、目的の細かいテクスチャを復元します。次に、実際のシナリオで雨画像復元アルゴリズムの開発を後押しするために、新しい合成データセット、つまりDarkRainを紹介します。 DarkRainには、さまざまな程度の雨が含まれているだけでなく、さまざまな照明条件も考慮され、現実世界の降雨をより現実的にシミュレートします。 EMNetは、提案されたベンチマークで広範囲に評価され、最先端の結果を達成します。さらに、単純な変換の後、私たちの方法は、雨の除去と低照度の画像強調の両方で既存の方法よりも優れています。ソースコードとデータセットは後で公開されます。
Rain removal plays an important role in the restoration of degraded images. Recently, data-driven methods have achieved remarkable success. However, these approaches neglect that the appearance of rain is often accompanied by low light conditions, which will further degrade the image quality. Therefore, it is very indispensable to jointly remove the rain and enhance the light for real-world rain image restoration. In this paper, we aim to address this problem from two aspects. First, we proposed a novel entangled network, namely EMNet, which can remove the rain and enhance illumination in one go. Specifically, two encoder-decoder networks interact complementary information through entanglement structure, and parallel rain removal and illumination enhancement. Considering that the encoder-decoder structure is unreliable in preserving spatial details, we employ a detail recovery network to restore the desired fine texture. Second, we present a new synthetic dataset, namely DarkRain, to boost the development of rain image restoration algorithms in practical scenarios. DarkRain not only contains different degrees of rain, but also considers different lighting conditions, and more realistically simulates the rainfall in the real world. EMNet is extensively evaluated on the proposed benchmark and achieves state-of-the-art results. In addition, after a simple transformation, our method outshines existing methods in both rain removal and low-light image enhancement. The source code and dataset will be made publicly available later.
updated: Mon Aug 09 2021 08:46:15 GMT+0000 (UTC)
published: Mon Aug 09 2021 08:46:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト