arXiv reaDer
拡散モデルによるリアルなノイズ合成
Realistic Noise Synthesis with Diffusion Models
深層学習ベースのアプローチは、単一画像のノイズ除去において顕著なパフォーマンスを達成しました。ただし、ノイズ除去モデルのトレーニングには通常、大量のデータが必要であり、現実のシナリオではそれを取得するのが困難な場合があります。さらに、過去に使用されていた合成ノイズは、現実世界のノイズの複雑さと敵対的生成ネットワーク (GAN) モデルのノイズ分布のモデリング能力の低さにより、現実世界のノイズと比較して大きな差が生じることが多く、その結果、内部に残留ノイズやアーティファクトが発生しました。ノイズ除去モデル。これらの課題に対処するために、拡散モデルを使用してリアルなノイズを合成する新しい方法を提案します。このアプローチにより、さまざまな環境条件をシミュレートするためにカメラ設定を制御し、ガイド付きマルチスケール コンテンツ情報を採用して、私たちの方法が複数周波数で実際のノイズを生成できるようにすることで、ノイズ除去モデルをトレーニングするための大量の高品質データを生成できます。空間的な相関関係。特に、設定の反転メカニズムを設計します。これにより、設定情報なしでメソッドをより多くの公開データセットに拡張できます。合成したノイズ データセットに基づいて、複数のベンチマークで十分な実験を実施しました。実験結果は、私たちの方法が複数のベンチマークとメトリクスで最先端の方法よりも優れていることを示し、ノイズ除去モデルのトレーニングのための現実的なノイズの合成における有効性を示しています。 。
Deep learning-based approaches have achieved remarkable performance in single-image denoising. However, training denoising models typically requires a large amount of data, which can be difficult to obtain in real-world scenarios. Furthermore, synthetic noise used in the past has often produced significant differences compared to real-world noise due to the complexity of the latter and the poor modeling ability of noise distributions of Generative Adversarial Network (GAN) models, resulting in residual noise and artifacts within denoising models. To address these challenges, we propose a novel method for synthesizing realistic noise using diffusion models. This approach enables us to generate large amounts of high-quality data for training denoising models by controlling camera settings to simulate different environmental conditions and employing guided multi-scale content information to ensure that our method is more capable of generating real noise with multi-frequency spatial correlations. In particular, we design an inversion mechanism for the setting, which extends our method to more public datasets without setting information. Based on the noise dataset we synthesized, we have conducted sufficient experiments on multiple benchmarks, and experimental results demonstrate that our method outperforms state-of-the-art methods on multiple benchmarks and metrics, demonstrating its effectiveness in synthesizing realistic noise for training denoising models.
updated: Tue May 23 2023 12:56:01 GMT+0000 (UTC)
published: Tue May 23 2023 12:56:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト