この作業では、例として高圧縮レベルでの JPEG アーティファクト除去を使用して、拡散モデルの忠実度の高い生成機能を利用してブラインド画像復元タスクを解決します。拡散モデルの前方確率微分方程式の洗練された修正を提案して、それらを復元タスクに適応させ、メソッドに DriftRec という名前を付けます。 DriftRec を L_2 回帰ベースラインと比較し、同じネットワーク アーキテクチャと JPEG 再構築のための最先端技術を使用して、私たちのアプローチが両方のベースラインのぼやけた画像を生成する傾向を回避し、きれいな画像の分布を大幅に回復できることを示します。クリーン/破損した画像ペアのデータセットのみを必要とし、破損操作に関する知識は必要ありません。きれいな画像と破損した画像の分布は、ガウス事前分布よりも互いにはるかに近いという考えを利用することにより、私たちのアプローチは低レベルの追加ノイズのみを必要とするため、さらに最適化しなくても比較的少数のサンプリング手順で済みます。
In this work, we utilize the high-fidelity generation abilities of diffusion models to solve blind image restoration tasks, using JPEG artifact removal at high compression levels as an example. We propose an elegant modification of the forward stochastic differential equation of diffusion models to adapt them to restoration tasks and name our method DriftRec. Comparing DriftRec against an L_2 regression baseline with the same network architecture and a state-of-the-art technique for JPEG reconstruction, we show that our approach can escape both baselines' tendency to generate blurry images, and recovers the distribution of clean images significantly more faithfully while only requiring a dataset of clean/corrupted image pairs and no knowledge about the corruption operation. By utilizing the idea that the distributions of clean and corrupted images are much closer to each other than to a Gaussian prior, our approach requires only low levels of added noise, and thus needs comparatively few sampling steps even without further optimizations.