ノイズ除去拡散モデルは、最近、生成タスクにおいて目覚ましい結果を示しています。このようなモデルは、トレーニング画像の膨大なコレクションから強力な事前分布を学習することで、一連の小さなノイズ除去ステップを通じて完全なノイズをクリーンな自然な画像に徐々に変更することができ、単一画像のノイズ除去に適しているように見えます。ただし、ノイズ除去拡散モデルを現実的なノイズの除去に効果的に適用することは、見た目よりも困難です。これは、その定式化が現実世界の画像のノイズとは異なり、加法性ホワイト ガウス ノイズに基づいているためです。この研究では、より現実的な空間的に変化するノイズ モデルを想定したノイズ除去拡散の新しい定式化である SVNR を紹介します。 SVNR を使用すると、ノイズを含む入力画像をノイズ除去拡散プロセスの開始点として使用できるようになり、それに基づいてプロセスを調整できます。この目的を達成するために、各ピクセルが独自の時間を埋め込めるように拡散プロセスを適応させ、空間的に変化するタイムマップをサポートするトレーニングおよび推論スキームを提案します。私たちの定式化は、修正された拡散プロセスに沿った状態画像とサンプルの間に存在する相関関係も考慮しています。私たちの実験では、強力な拡散モデルのベースラインや最先端の単一画像ノイズ除去法と比較した場合のアプローチの利点を実証します。
Denoising diffusion models have recently shown impressive results in generative tasks. By learning powerful priors from huge collections of training images, such models are able to gradually modify complete noise to a clean natural image via a sequence of small denoising steps, seemingly making them well-suited for single image denoising. However, effectively applying denoising diffusion models to removal of realistic noise is more challenging than it may seem, since their formulation is based on additive white Gaussian noise, unlike noise in real-world images. In this work, we present SVNR, a novel formulation of denoising diffusion that assumes a more realistic, spatially-variant noise model. SVNR enables using the noisy input image as the starting point for the denoising diffusion process, in addition to conditioning the process on it. To this end, we adapt the diffusion process to allow each pixel to have its own time embedding, and propose training and inference schemes that support spatially-varying time maps. Our formulation also accounts for the correlation that exists between the condition image and the samples along the modified diffusion process. In our experiments we demonstrate the advantages of our approach over a strong diffusion model baseline, as well as over a state-of-the-art single image denoising method.