ディープ ラーニング ベースのデノイザーの開発により、プラグ アンド プレイ戦略は画像復元の問題で大きな成功を収めました。ただし、既存のプラグアンドプレイの画像復元方法は、zhang et al (2022) などの非ブラインド ガウス ノイズ除去用に設計されており、未知のノイズに対してパフォーマンスが目に見えて低下します。プラグアンドプレイの画像復元の限界を押し広げるために、実世界でのより複雑な画像復元の問題を処理できる、ブラインド ガウス事前分布を使用した新しいフレームワークを提案します。より具体的には、ノイズレベルを変数と見なして、新しい画像復元モデルを構築します。これは、ノイズ推定サブネットワークとノイズ除去サブネットワークで構成される 2 段階のブラインド ガウス デノイザーによって実装されます。ノイズ推定サブネットワークはノイズを提供します。ブラインド ノイズ除去のためのノイズ除去サブネットワークへのレベル。また、曲率マップをエンコーダー/デコーダー アーキテクチャと教師あり注意モジュールに導入して、非常に柔軟で効果的な畳み込みニューラル ネットワークを実現します。画像のノイズ除去、ブレ除去、および単一画像の超解像に関する実験結果は、最先端のモデルベースの方法に対する当社の深い曲率デノイザーと、結果として得られるプラグアンドプレイのブラインド画像復元方法の利点を実証するために提供されます。そして学習ベースの方法。私たちのモデルは、さまざまな画像復元タスクのノイズレベルが不明な場合でも、画像の細かいディテールと小さな構造を復元できることが示されています。ソース コードは、https://github.com/Duanlab123/CurvPnP で入手できます。
Due to the development of deep learning-based denoisers, the plug-and-play strategy has achieved great success in image restoration problems. However, existing plug-and-play image restoration methods are designed for non-blind Gaussian denoising such as zhang et al (2022), the performance of which visibly deteriorate for unknown noises. To push the limits of plug-and-play image restoration, we propose a novel framework with blind Gaussian prior, which can deal with more complicated image restoration problems in the real world. More specifically, we build up a new image restoration model by regarding the noise level as a variable, which is implemented by a two-stage blind Gaussian denoiser consisting of a noise estimation subnetwork and a denoising subnetwork, where the noise estimation subnetwork provides the noise level to the denoising subnetwork for blind noise removal. We also introduce the curvature map into the encoder-decoder architecture and the supervised attention module to achieve a highly flexible and effective convolutional neural network. The experimental results on image denoising, deblurring and single-image super-resolution are provided to demonstrate the advantages of our deep curvature denoiser and the resulting plug-and-play blind image restoration method over the state-of-the-art model-based and learning-based methods. Our model is shown to be able to recover the fine image details and tiny structures even when the noise level is unknown for different image restoration tasks. The source codes are available at https://github.com/Duanlab123/CurvPnP.