分布の変化により、ディープラーニングベースの画像のかすみ除去方法は、現実世界のかすみのある画像に適用するとパフォーマンスが低下します。この論文では、実際のかすみへの一般化を改善するために、条件付き拡散モデルに基づいたかすみ除去フレームワークを検討します。まず、拡散モデルのトレーニング目標、つまりガウス ノイズ ベクトルの最適化が自明ではないことがわかります。ディープ ネットワークのスペクトル バイアスにより、ガウス ベクトルの高周波モードの学習が妨げられ、画像の詳細の再構成が損なわれます。この問題に取り組むために、入力信号の中高周波数を共同で強調するフィルターのバンクを備えた、周波数補償ブロック (FCB) と呼ばれるネットワーク ユニットを設計します。 FCB を使用した拡散モデルが知覚と歪みの両方のメトリックにおいて大幅な向上を達成することを実証します。次に、汎化パフォーマンスをさらに向上させるために、程度と多様性の観点からヘイズを強化する新しいデータ合成パイプライン HazeAug を提案します。フレームワーク内では、ブラインドかすみ除去のための強固なベースラインが設定されており、モデルは合成かすみとクリーンのペアでトレーニングされ、実際のデータに直接一般化されます。広範な評価により、提案されたかすみ除去拡散モデルが現実世界の画像に対して最先端の方法よりも大幅に優れたパフォーマンスを発揮することが示されています。
Due to distribution shift, deep learning based methods for image dehazing suffer from performance degradation when applied to real-world hazy images. In this paper, we consider a dehazing framework based on conditional diffusion models for improved generalization to real haze. First, we find that optimizing the training objective of diffusion models, i.e., Gaussian noise vectors, is non-trivial. The spectral bias of deep networks hinders the higher frequency modes in Gaussian vectors from being learned and hence impairs the reconstruction of image details. To tackle this issue, we design a network unit, named Frequency Compensation block (FCB), with a bank of filters that jointly emphasize the mid-to-high frequencies of an input signal. We demonstrate that diffusion models with FCB achieve significant gains in both perceptual and distortion metrics. Second, to further boost the generalization performance, we propose a novel data synthesis pipeline, HazeAug, to augment haze in terms of degree and diversity. Within the framework, a solid baseline for blind dehazing is set up where models are trained on synthetic hazy-clean pairs, and directly generalize to real data. Extensive evaluations show that the proposed dehazing diffusion model significantly outperforms state-of-the-art methods on real-world images.