arXiv reaDer
ドメインの一般化可能な拡散モデルによる画像のブレ除去
Image Deblurring with Domain Generalizable Diffusion Models
拡散確率モデル (DPM) は、最近、画像のブレ除去に採用されています。 DPM は、連結されたぼやけた入力を条件として、ガウス ノイズを高品質の画像にマッピングする確率論的ノイズ除去プロセスによってトレーニングされます。生成された高品質のサンプルにもかかわらず、画像調整された拡散確率モデル (icDPM) は合成ペアワイズ トレーニング データ (ドメイン内) に依存しており、現実世界の目に見えない画像 (ドメイン外) に対する堅牢性が不明確になる可能性があります。この作業では、ブレ除去におけるicDPMの一般化能力を調査し、アーティファクトを大幅に軽減し、分布外のパフォーマンスを改善するためのシンプルだが効果的なガイダンスを提案します。特に、基になる画像構造を維持しながらドメイン固有の情報を削除する入力画像から、マルチスケールのドメイン一般化可能な表現を最初に抽出することを提案します。次に、表現は、一般化の改善に役立つ追加のガイダンスとして、条件付き拡散モデルの機能マップに追加されます。ベンチマークを行うために、単一のデータセットでトレーニングされたモデルを 3 つの外部の多様なテスト セットに適用することにより、分布外のパフォーマンスに焦点を当てます。提案された定式化の有効性は、標準の icDPM を超える改善、および既存の方法と比較した知覚品質および競合歪みメトリックに関する最先端のパフォーマンスによって実証されています。
Diffusion Probabilistic Models (DPMs) have recently been employed for image deblurring. DPMs are trained via a stochastic denoising process that maps Gaussian noise to the high-quality image, conditioned on the concatenated blurry input. Despite their high-quality generated samples, image-conditioned Diffusion Probabilistic Models (icDPM) rely on synthetic pairwise training data (in-domain), with potentially unclear robustness towards real-world unseen images (out-of-domain). In this work, we investigate the generalization ability of icDPMs in deblurring, and propose a simple but effective guidance to significantly alleviate artifacts, and improve the out-of-distribution performance. Particularly, we propose to first extract a multiscale domain-generalizable representation from the input image that removes domain-specific information while preserving the underlying image structure. The representation is then added into the feature maps of the conditional diffusion model as an extra guidance that helps improving the generalization. To benchmark, we focus on out-of-distribution performance by applying a single-dataset trained model to three external and diverse test sets. The effectiveness of the proposed formulation is demonstrated by improvements over the standard icDPM, as well as state-of-the-art performance on perceptual quality and competitive distortion metrics compared to existing methods.
updated: Sun Dec 04 2022 10:40:35 GMT+0000 (UTC)
published: Sun Dec 04 2022 10:40:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト