動的なシーンのブレ除去の目的は、特定の画像に存在するモーションブラーを除去することです。ほとんどの学習ベースのアプローチは、出力と参照シャープ画像の間のL1またはL2距離を最小化することによってソリューションを実装します。最近の試みは、視覚認識タスクから学習した機能を使用することにより、ぼけのない画像の知覚品質を改善しています。ただし、これらの機能は元々、ぼやけなど、特定の画像の低レベルの構造ではなく、高レベルのコンテキストをキャプチャするように設計されています。画像をより鮮明にするために、新しい低レベルの知覚損失を提案します。画像のぼやけに焦点を合わせるために、除去されていないモーションブラーを増幅する再ぼかしモジュールをトレーニングします。十分にぼけが除去されたクリーンな画像には、増幅されにくいゼロマグニチュードのモーションブラーが含まれている必要があることを動機として、2種類の再ぼけ損失関数を設計します。トレーニング段階での監視された再ぼけ損失は、ぼけ除去された画像と参照シャープ画像の間で増幅されたぼけを比較します。推論段階での自己監視ありのぼけ除去損失は、ぼけ除去された画像に増幅される顕著なぼけがまだ含まれているかどうかを検査します。私たちの実験結果は、提案された再ぼかし損失が、NIQEおよびLPIPSスコア、ならびに視覚的鮮明さの観点から、ぼけ除去された画像の知覚品質を改善することを示しています。
The goal of dynamic scene deblurring is to remove the motion blur present in a given image. Most learning-based approaches implement their solutions by minimizing the L1 or L2 distance between the output and reference sharp image. Recent attempts improve the perceptual quality of the deblurred image by using features learned from visual recognition tasks. However, those features are originally designed to capture the high-level contexts rather than the low-level structures of the given image, such as blurriness. We propose a novel low-level perceptual loss to make image sharper. To better focus on image blurriness, we train a reblurring module amplifying the unremoved motion blur. Motivated that a well-deblurred clean image should contain zero-magnitude motion blur that is hard to be amplified, we design two types of reblurring loss functions. The supervised reblurring loss at training stage compares the amplified blur between the deblurred image and the reference sharp image. The self-supervised reblurring loss at inference stage inspects if the deblurred image still contains noticeable blur to be amplified. Our experimental results demonstrate the proposed reblurring losses improve the perceptual quality of the deblurred images in terms of NIQE and LPIPS scores as well as visual sharpness.