識別学習ベースの画像ノイズ除去装置は、Additive White Gaussian Noise(AWGN)などの合成ノイズで有望なパフォーマンスを達成しています。ほとんどの以前の研究で採用された合成ノイズはピクセルに依存しませんが、実際のノイズは主に空間的/チャネル相関的および空間的/チャネル不変です。モデルがAWGNのみでトレーニングされている場合、このドメインギャップにより、実際のノイズのある画像でパフォーマンスが不十分になります。この論文では、AWGNが支配的な合成ピクセル独立ノイズデータのみでトレーニングされた実画像ノイズ除去装置の性能を向上させるための新しいアプローチを提案します。最初に、AWGNとランダム値インパルスノイズ(RVIN)が混在したノイズ推定器とノイズ除去器で構成されるディープモデルをトレーニングします。次に、ピクセルシャッフルダウンサンプリング(PD)戦略を調査して、トレーニング済みモデルを実際のノイズに適合させます。広範な実験により、提案されたアプローチの有効性と一般化が実証されています。特に、我々の方法は、合成ノイズでトレーニングされたモデル間でDNDベンチマークの実際のsRGB画像で最先端のパフォーマンスを達成します。コードはhttps://github.com/yzhouas/PD-Denoising-pytorchで入手できます。
Discriminative learning-based image denoisers have achieved promising performance on synthetic noises such as Additive White Gaussian Noise (AWGN). The synthetic noises adopted in most previous work are pixel-independent, but real noises are mostly spatially/channel-correlated and spatially/channel-variant. This domain gap yields unsatisfied performance on images with real noises if the model is only trained with AWGN. In this paper, we propose a novel approach to boost the performance of a real image denoiser which is trained only with synthetic pixel-independent noise data dominated by AWGN. First, we train a deep model that consists of a noise estimator and a denoiser with mixed AWGN and Random Value Impulse Noise (RVIN). We then investigate Pixel-shuffle Down-sampling (PD) strategy to adapt the trained model to real noises. Extensive experiments demonstrate the effectiveness and generalization of the proposed approach. Notably, our method achieves state-of-the-art performance on real sRGB images in the DND benchmark among models trained with synthetic noises. Codes are available at https://github.com/yzhouas/PD-Denoising-pytorch.