最近、深層学習ベースの画像ノイズ除去方法は、合成または収集された実世界のトレーニングデータに基づくさまざまなノイズ除去モデルが学習されたトレーニングセットと同じ分布のテストデータで有望なパフォーマンスを達成しました。ただし、実際のノイズの多い画像を処理する場合、ノイズ除去のパフォーマンスは依然として制限されます。この論文では、実世界の画像ノイズ除去のためのシンプルで効果的なベイジアンディープアンサンブル(BDE)法を提案します。この方法では、さまざまなトレーニングデータ設定で事前トレーニングされたいくつかの代表的なディープノイズ除去装置を融合してロバスト性を向上させることができます。 BDEの基本は、実世界の画像ノイズは信号に大きく依存し、実世界のノイズの多い画像の不均一なノイズは、さまざまなノイズ除去装置によって個別に処理できることです。特に、十分にトレーニングされたCBDNet、NBNet、HINet、Uformer、およびGMSNetをデノイザープールに取り込み、U-Netを採用して、これらのデノイザーを融合するためのピクセル単位の重み付けマップを予測します。ピクセル単位の重み付けマップを学習するだけでなく、ベイズ深層学習戦略を導入して、重み付けの不確実性と重み付けマップを予測します。これにより、予測分散をモデル化して、実世界のノイズの多い画像のロバスト性を向上させることができます。広範な実験により、高価なコストで大きなデノイザーをトレーニングする代わりに、既存のデノイザーを融合することで、実際のノイズをより適切に除去できることが示されています。 DNDデータセットでは、BDEは最先端のノイズ除去方法よりも+ 0.28〜dBのPSNRゲインを達成します。さらに、さまざまなガウスノイズレベルに基づくBDEデノイザーは、実際のノイズの多い画像に適用すると、最先端のCBDNetよりも優れていることに注意してください。さらに、BDEは他の画像復元タスクに拡張でき、画像のぼけ除去、画像の除去、単一画像の超解像のベンチマークデータセットでそれぞれ+ 0.30dB、+ 0.18dB、+0.12dBのPSNRゲインを達成します。
Recently, deep learning-based image denoising methods have achieved promising performance on test data with the same distribution as training set, where various denoising models based on synthetic or collected real-world training data have been learned. However, when handling real-world noisy images, the denoising performance is still limited. In this paper, we propose a simple yet effective Bayesian deep ensemble (BDE) method for real-world image denoising, where several representative deep denoisers pre-trained with various training data settings can be fused to improve robustness. The foundation of BDE is that real-world image noises are highly signal-dependent, and heterogeneous noises in a real-world noisy image can be separately handled by different denoisers. In particular, we take well-trained CBDNet, NBNet, HINet, Uformer and GMSNet into denoiser pool, and a U-Net is adopted to predict pixel-wise weighting maps to fuse these denoisers. Instead of solely learning pixel-wise weighting maps, Bayesian deep learning strategy is introduced to predict weighting uncertainty as well as weighting map, by which prediction variance can be modeled for improving robustness on real-world noisy images. Extensive experiments have shown that real-world noises can be better removed by fusing existing denoisers instead of training a big denoiser with expensive cost. On DND dataset, our BDE achieves +0.28~dB PSNR gain over the state-of-the-art denoising method. Moreover, we note that our BDE denoiser based on different Gaussian noise levels outperforms state-of-the-art CBDNet when applying to real-world noisy images. Furthermore, our BDE can be extended to other image restoration tasks, and achieves +0.30dB, +0.18dB and +0.12dB PSNR gains on benchmark datasets for image deblurring, image deraining and single image super-resolution, respectively.