arXiv reaDer
きれいな画像をぼかすのは難しい:動的シーンのぼけ除去のための不適切な逆タスクの活用
Clean Images are Hard to Reblur: Exploiting the Ill-Posed Inverse Task for Dynamic Scene Deblurring
ダイナミックシーンのブレ除去の目的は、特定の画像のモーションブラーを除去することです。典型的な学習ベースのアプローチは、出力と参照シャープ画像の間のL1またはL2距離を最小化することによってソリューションを実装します。最近の試みは、知覚の質を改善するためにトレーニングで視覚認識機能を採用しています。ただし、これらの機能は、ぼやけなどの低レベルの構造ではなく、主に高レベルのコンテキストをキャプチャするように設計されています。代わりに、ぼけ除去の逆のタスク、つまり再ぼけを利用することによって、画像をより鮮明にするためのより直接的な方法を提案します。再ぼかしは残りのぼかしを増幅して元のぼかしを再構築しますが、大きさがゼロのぼかしで十分にぼけされたきれいな画像を再ぼかしすることは困難です。したがって、ブレ除去を改善するために、2種類のブレ除去損失関数を設計します。トレーニング段階での監視された再ぼけ損失は、ぼけ除去された画像と鮮明な画像の間で増幅されたぼけを比較します。推論段階での自己監視による再ぼかし損失は、ぼけ除去に顕著なぼやけが残っているかどうかを検査します。大規模なベンチマークと実際の画像に関する実験結果は、NIQEとLPIPSのスコア、および視覚的な鮮明さの観点から、ぼけ除去された画像の知覚品質を改善する上でのぼけ除去損失の有効性を示しています。
The goal of dynamic scene deblurring is to remove the motion blur in a given image. Typical learning-based approaches implement their solutions by minimizing the L1 or L2 distance between the output and the reference sharp image. Recent attempts adopt visual recognition features in training to improve the perceptual quality. However, those features are primarily designed to capture high-level contexts rather than low-level structures such as blurriness. Instead, we propose a more direct way to make images sharper by exploiting the inverse task of deblurring, namely, reblurring. Reblurring amplifies the remaining blur to rebuild the original blur, however, a well-deblurred clean image with zero-magnitude blur is hard to reblur. Thus, we design two types of reblurring loss functions for better deblurring. The supervised reblurring loss at training stage compares the amplified blur between the deblurred and the sharp images. The self-supervised reblurring loss at inference stage inspects if there noticeable blur remains in the deblurred. Our experimental results on large-scale benchmarks and real images demonstrate the effectiveness of the reblurring losses in improving the perceptual quality of the deblurred images in terms of NIQE and LPIPS scores as well as visual sharpness.
updated: Sat Apr 02 2022 10:33:59 GMT+0000 (UTC)
published: Mon Apr 26 2021 15:49:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト