学習ベースの画像の雨とノイズ除去の最近の繁栄は、主に、適切に設計されたニューラルネットワークアーキテクチャと大きなラベル付きデータセットによるものです。ただし、現在の画像の雨やノイズの除去方法では、画像の使用率が低くなることがわかります。大きなラベル付きデータセットへの依存を軽減するために、導入されたパッチ分析戦略に基づいて、タスク駆動型の画像の雨とノイズの除去(TRNR)を提案します。パッチ分析戦略は、トレーニング用のさまざまな空間的および統計的特性を備えた画像パッチを提供し、画像の利用率を高めることが検証されています。さらに、パッチ分析戦略は、データ駆動型ではなく、タスク駆動型の画像の雨とノイズ除去の学習を検討する動機になります。したがって、TRNRのN周波数Kショット学習タスクを紹介します。各N周波数-Kショット学習タスクは、パッチ分析戦略によってサンプリングされたNK画像パッチを含む小さなデータセットに基づいています。 TRNRを使用すると、ニューラルネットワークは適切なデータ以外の豊富なN周波数Kショット学習タスクから学習できます。 TRNRの有効性を検証するために、画像の雨の除去を学習するために約0.9Mのパラメーターを備えた軽量のマルチスケール残差ネットワーク(MSResNet)を構築し、いくつかの画像を使用したブラインドガウスノイズ除去のためにDNNetと呼ばれる約120万のパラメーターを備えた単純なResNetを使用します。 (たとえば、Rain100Hの20.0%トレインセット)。実験結果は、TRNRによってMSResNetがより少ない画像からよりよく学習できることを示しています。さらに、TRNRを利用するMSResNetとDNNetは、大きなラベル付きデータセットでデータ駆動型にトレーニングされた最新のディープラーニング手法よりも優れたパフォーマンスを実現しています。これらの実験結果により、提案されたTRNRの有効性と優位性が確認されました。 TRNRのコードはまもなく公開されます。
The recent prosperity of learning-based image rain and noise removal is mainly due to the well-designed neural network architectures and large labeled datasets. However, we find that current image rain and noise removal methods result in low utilization of images. To alleviate the reliance on large labeled datasets, we propose the task-driven image rain and noise removal (TRNR) based on the introduced patch analysis strategy. The patch analysis strategy provides image patches with various spatial and statistical properties for training and has been verified to increase the utilization of images. Further, the patch analysis strategy motivates us to consider learning image rain and noise removal task-driven instead of data-driven. Therefore we introduce the N-frequency-K-shot learning task for TRNR. Each N-frequency-K-shot learning task is based on a tiny dataset containing NK image patches sampled by the patch analysis strategy. TRNR enables neural networks to learn from abundant N-frequency-K-shot learning tasks other than from adequate data. To verify the effectiveness of TRNR, we build a light Multi-Scale Residual Network (MSResNet) with about 0.9M parameters to learn image rain removal and use a simple ResNet with about 1.2M parameters dubbed DNNet for blind gaussian noise removal with a few images (for example, 20.0% train-set of Rain100H). Experimental results demonstrate that TRNR enables MSResNet to learn better from fewer images. In addition, MSResNet and DNNet utilizing TRNR have obtained better performance than most recent deep learning methods trained data-driven on large labeled datasets. These experimental results have confirmed the effectiveness and superiority of the proposed TRNR. The codes of TRNR will be public soon.