arXiv reaDer
教師なし現実世界の単一画像ノイズ除去のためのスコア事前誘導ガイド付き深変分推論
Score Priors Guided Deep Variational Inference for Unsupervised Real-World Single Image Denoising
現実世界の単一画像のノイズ除去は、コンピュータ ビジョンにおいて非常に重要かつ実用的です。スコア事前分布と組み合わせたベイジアン逆変換は、単一画像のノイズ除去に効果的であることが証明されていますが、ホワイト ガウス ノイズに限定されます。さらに、現実世界のノイズ除去に既存のスコアベースの手法を適用するには、ターゲット領域でのスコア事前分布の明示的な列だけでなく、事後推論のためのサンプリング手順を慎重に設計する必要がありますが、これは複雑で非現実的です。これらの制限に対処するために、実際の現実世界のノイズ除去のためのスコア事前分布に基づく深変分推論、つまり ScoreDVI を提案します。ガウス形式の深い変分画像事後を考慮することにより、簡単にアクセスできる最小 MSE 非 iid ガウス デノイザーと変分サンプルに基づいて事前スコアが抽出され、これにより事後変分画像の最適化が容易になります。このような手順では、ノイズ除去の前にチープ スコアを適応的に適用します。さらに、非 iid ガウス混合モデルと事後変分ノイズを利用して、現実世界のノイズをモデル化します。このスキームにより、複数の事前画像と変分画像事後画像のピクセル単位の融合も可能になります。さらに、最適化において画像事前分布の重みを動的に調整する、ノイズを考慮した事前割り当て戦略を開発します。私たちの方法は、他の単一画像ベースの実世界のノイズ除去方法よりも優れており、データセットベースの教師なし方法と同等のパフォーマンスを達成します。
Real-world single image denoising is crucial and practical in computer vision. Bayesian inversions combined with score priors now have proven effective for single image denoising but are limited to white Gaussian noise. Moreover, applying existing score-based methods for real-world denoising requires not only the explicit train of score priors on the target domain but also the careful design of sampling procedures for posterior inference, which is complicated and impractical. To address these limitations, we propose a score priors-guided deep variational inference, namely ScoreDVI, for practical real-world denoising. By considering the deep variational image posterior with a Gaussian form, score priors are extracted based on easily accessible minimum MSE Non-i.i.d Gaussian denoisers and variational samples, which in turn facilitate optimizing the variational image posterior. Such a procedure adaptively applies cheap score priors to denoising. Additionally, we exploit a Non-i.i.d Gaussian mixture model and variational noise posterior to model the real-world noise. This scheme also enables the pixel-wise fusion of multiple image priors and variational image posteriors. Besides, we develop a noise-aware prior assignment strategy that dynamically adjusts the weight of image priors in the optimization. Our method outperforms other single image-based real-world denoising methods and achieves comparable performance to dataset-based unsupervised methods.
updated: Wed Aug 09 2023 03:26:58 GMT+0000 (UTC)
published: Wed Aug 09 2023 03:26:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト