実際のシナリオでの単一画像のドレイン(SID)は、近年ますます注目を集めています。実世界の雨/きれいな画像ペアを取得することは困難であるため、以前の実際のデータセットは、低解像度の画像、均一な雨の筋、限られた背景の変化、さらには画像ペアの不整合にさえ悩まされ、SIDメソッドの包括的な評価をもたらしました。これらの問題に対処するために、RealRain-1kという名前の新しい高品質データセットを確立します。これは、それぞれ1,120の高解像度のペアのきれいな画像と雨の画像、および低密度と高密度の雨の縞で構成されます。 RealRain-1kの画像は、多数の実世界の雨のビデオクリップから、シンプルでありながら効果的な雨密度制御可能なフィルタリング方法によって自動的に生成され、高い画像解像度、背景の多様性、雨の縞の多様性、および厳密な空間の優れた特性を備えています。アラインメント。 RealRain-1kはまた、副産物として豊富なレインストリークレイヤーを提供し、豊富な自然画像にレインストリークレイヤーを貼り付けることで、SynRain-13kという名前の大規模な合成データセットを構築できるようにします。それらと既存のデータセットに基づいて、3つのトラックで10を超える代表的なSIDメソッドのベンチマークを行います:(1)RealRain-1kでの完全な教師あり学習、(2)実際のデータセットへのドメインの一般化、(3)synからrealへの転送学習。実験結果は、(1)画像復元のパフォーマンスとモデルの複雑さにおける代表的な方法の違いを示し、(2)モデルの一般化のために提案されたデータセットの重要性を検証し、(3)多様なドメインからの学習の優位性に関する有用な洞察を提供します。実世界のSIDに関する将来の研究に光を当てます。データセットはhttps://github.com/hiker-lw/RealRain-1kでリリースされます
Single image deraining (SID) in real scenarios attracts increasing attention in recent years. Due to the difficulty in obtaining real-world rainy/clean image pairs, previous real datasets suffer from low-resolution images, homogeneous rain streaks, limited background variation, and even misalignment of image pairs, resulting in incomprehensive evaluation of SID methods. To address these issues, we establish a new high-quality dataset named RealRain-1k, consisting of 1,120 high-resolution paired clean and rainy images with low- and high-density rain streaks, respectively. Images in RealRain-1k are automatically generated from a large number of real-world rainy video clips through a simple yet effective rain density-controllable filtering method, and have good properties of high image resolution, background diversity, rain streaks variety, and strict spatial alignment. RealRain-1k also provides abundant rain streak layers as a byproduct, enabling us to build a large-scale synthetic dataset named SynRain-13k by pasting the rain streak layers on abundant natural images. Based on them and existing datasets, we benchmark more than 10 representative SID methods on three tracks: (1) fully supervised learning on RealRain-1k, (2) domain generalization to real datasets, and (3) syn-to-real transfer learning. The experimental results (1) show the difference of representative methods in image restoration performance and model complexity, (2) validate the significance of the proposed datasets for model generalization, and (3) provide useful insights on the superiority of learning from diverse domains and shed lights on the future research on real-world SID. The datasets will be released at https://github.com/hiker-lw/RealRain-1k