多くの深層学習ベースの方法は、ブラーカーネルを知らなくても、オブジェクトの動きや手ぶれによって引き起こされる不均一な(空間的に変化する)モーションブラーを除去するように設計されています。潜在的な鮮明な画像を1つのステージで直接出力する方法もあれば、多段階の戦略(マルチスケール、マルチパッチ、マルチテンポラルなど)を使用してシャープな画像を徐々に復元する方法もあります。ただし、これらの方法には次の2つの主要な問題があります。1)多段の計算コストが高い。 2)同じコンボリューションカーネルが異なる領域に適用されます。これは、不均一なブラーには理想的な選択ではありません。したがって、不均一な動きのぼけ除去は、依然として挑戦的で未解決の問題です。この論文では、複数のAtrous Spatial Pyramid Deformable Convolution(ASPDC)モジュールで構成される新しいアーキテクチャを提案し、画像をより柔軟にエンドツーエンドでぼかす。複数のASPDCモジュールは、異なる大きさの動きを処理するために、同じレイヤー内の異なる拡張率でピクセル固有の動きを暗黙的に学習します。トレーニングを改善するために、ぼけ除去された出力をぼけされた入力にマッピングする再ぼけネットワークも提案します。これにより、解空間が制約されます。私たちの実験結果は、提案された方法がベンチマークデータセットの最先端の方法よりも優れていることを示しています。
Many deep learning based methods are designed to remove non-uniform (spatially variant) motion blur caused by object motion and camera shake without knowing the blur kernel. Some methods directly output the latent sharp image in one stage, while others utilize a multi-stage strategy (e.g. multi-scale, multi-patch, or multi-temporal) to gradually restore the sharp image. However, these methods have the following two main issues: 1) The computational cost of multi-stage is high; 2) The same convolution kernel is applied in different regions, which is not an ideal choice for non-uniform blur. Hence, non-uniform motion deblurring is still a challenging and open problem. In this paper, we propose a new architecture which consists of multiple Atrous Spatial Pyramid Deformable Convolution (ASPDC) modules to deblur an image end-to-end with more flexibility. Multiple ASPDC modules implicitly learn the pixel-specific motion with different dilation rates in the same layer to handle movements of different magnitude. To improve the training, we also propose a reblurring network to map the deblurred output back to the blurred input, which constrains the solution space. Our experimental results show that the proposed method outperforms state-of-the-art methods on the benchmark datasets.