arXiv reaDer
ディープブラインド画像の超解像のための実用的な劣化モデルの設計
Designing a Practical Degradation Model for Deep Blind Image Super-Resolution
想定される劣化モデルが実際の画像のものから逸脱している場合、単一画像の超解像(SISR)法はうまく機能しないことが広く認識されています。いくつかの劣化モデルは、ぼかしなどの追加の要因を考慮に入れていますが、実際の画像のさまざまな劣化をカバーするにはまだ十分に効果的ではありません。この問題に対処するために、このペーパーでは、ランダムにシャッフルされたブラー、ダウンサンプリング、およびノイズ劣化で構成される、より複雑で実用的な劣化モデルを設計することを提案します。具体的には、ぼけは等方性および異方性のガウスカーネルを使用した2つの畳み込みで近似されます。ダウンサンプリングは、最も近い双一次内挿および二一次内挿からランダムに選択されます。ノイズは、さまざまなノイズレベルのガウスノイズを追加し、さまざまな品質係数のJPEG圧縮を採用し、リバースフォワードカメラ画像信号処理(ISP)パイプラインモデルとRAW画像ノイズモデルを介して処理済みカメラセンサーノイズを生成することによって合成されます。新しい劣化モデルの有効性を検証するために、ディープブラインドESRGANスーパーリゾルバーをトレーニングし、それを適用して、さまざまな劣化を伴う合成画像と実画像の両方を超解像しました。実験結果は、新しい劣化モデルがディープスーパーレゾルバの実用性を大幅に改善するのに役立ち、実際のSISRアプリケーションに強力な代替ソリューションを提供できることを示しています。
It is widely acknowledged that single image super-resolution (SISR) methods would not perform well if the assumed degradation model deviates from those in real images. Although several degradation models take additional factors into consideration, such as blur, they are still not effective enough to cover the diverse degradations of real images. To address this issue, this paper proposes to design a more complex but practical degradation model that consists of randomly shuffled blur, downsampling and noise degradations. Specifically, the blur is approximated by two convolutions with isotropic and anisotropic Gaussian kernels; the downsampling is randomly chosen from nearest, bilinear and bicubic interpolations; the noise is synthesized by adding Gaussian noise with different noise levels, adopting JPEG compression with different quality factors, and generating processed camera sensor noise via reverse-forward camera image signal processing (ISP) pipeline model and RAW image noise model. To verify the effectiveness of the new degradation model, we have trained a deep blind ESRGAN super-resolver and then applied it to super-resolve both synthetic and real images with diverse degradations. The experimental results demonstrate that the new degradation model can help to significantly improve the practicability of deep super-resolvers, thus providing a powerful alternative solution for real SISR applications.
updated: Thu Sep 30 2021 13:07:58 GMT+0000 (UTC)
published: Thu Mar 25 2021 17:40:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト