学習ベースの画像雨とノイズ除去の最近の成功は、主に適切に設計されたニューラル ネットワーク アーキテクチャと大規模なラベル付きデータセットに起因する可能性があります。ただし、現在の画像レインおよびノイズ除去方法では、画像の利用率が低いことがわかりました。大規模なラベル付きデータセットに対する深いモデルの依存を軽減するために、パッチ分析戦略に基づくタスク駆動型のイメージ レイン アンド ノイズ除去 (TRNR) を提案します。パッチ分析戦略は、トレーニング用にさまざまな空間的および統計的特性を持つ画像パッチをサンプリングし、画像の利用率を高めることができます。さらに、パッチ分析戦略により、タスク駆動型アプローチTRNRにN頻度Kショット学習タスクを導入することが奨励されます。 TRNR を使用すると、ニューラル ネットワークは、大量のデータからではなく、多数の N-frequency-K-shot 学習タスクから学習できます。 TRNR の有効性を検証するために、イメージ レイン除去とガウス ノイズ除去の両方のためにマルチスケール残差ネットワーク (MSResNet) を構築します。具体的には、いくつかの画像 (たとえば、Rain100H の 20.0% のトレーニング セット) を使用して、画像の雨の除去とノイズの除去のために MSResNet をトレーニングします。実験結果は、TRNR を使用すると、データが不足している場合に MSResNet がより効果的に学習できることを示しています。 TRNR は、実験で既存の方法のパフォーマンスを向上させることも示されています。さらに、TRNR を使用して少数の画像でトレーニングされた MSResNet は、大規模なラベル付きデータセットでデータ駆動型のトレーニングを受けた最新の深層学習方法よりも優れています。これらの実験結果は、提案されたTRNRの有効性と優位性を確認しました。ソース コードは、https://github.com/Schizophreni/MSResNet-TRNR で入手できます。
The recent success of learning-based image rain and noise removal can be attributed primarily to well-designed neural network architectures and large labeled datasets. However, we discover that current image rain and noise removal methods result in low utilization of images. To alleviate the reliance of deep models on large labeled datasets, we propose the task-driven image rain and noise removal (TRNR) based on a patch analysis strategy. The patch analysis strategy samples image patches with various spatial and statistical properties for training and can increase image utilization. Furthermore, the patch analysis strategy encourages us to introduce the N-frequency-K-shot learning task for the task-driven approach TRNR. TRNR allows neural networks to learn from numerous N-frequency-K-shot learning tasks, rather than from a large amount of data. To verify the effectiveness of TRNR, we build a Multi-Scale Residual Network (MSResNet) for both image rain removal and Gaussian noise removal. Specifically, we train MSResNet for image rain removal and noise removal with a few images (for example, 20.0% train-set of Rain100H). Experimental results demonstrate that TRNR enables MSResNet to learn more effectively when data is scarce. TRNR has also been shown in experiments to improve the performance of existing methods. Furthermore, MSResNet trained with a few images using TRNR outperforms most recent deep learning methods trained data-driven on large labeled datasets. These experimental results have confirmed the effectiveness and superiority of the proposed TRNR. The source code is available on https://github.com/Schizophreni/MSResNet-TRNR.