arXiv reaDer
空間的に変化するモーション ブラー カーネル推定による効率的な単一画像動的シーン ブラインド ブレ除去のための制約付き変形可能畳み込みネットワーク
A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
ほとんどの既存の深層学習ベースの単一画像ダイナミック シーン ブラインド ブレ除去 (SIDSBD) メソッドは、通常、深層ネットワークを設計して、ブレ カーネル推定なしで、1 つの入力モーション ブラー画像から空間的に変化するモーション ブラーを直接除去します。この論文では、射影モーション パス ブラー (PMPB) モデルと変形可能な畳み込みに着想を得て、効率的な単一画像の動的シーン ブラインド ブレ除去のための新しい制約付き変形可能畳み込みネットワーク (CDCN) を提案します。これにより、正確な空間バリアント モーション ブラー カーネル推定が同時に実現されます。観測されたモーションブラー画像のみからの高品質の画像復元。提案されたCDCNでは、最初に、より強力な特徴抽出機能のために、新しいマルチスケールマルチレベルマルチ入力マルチ出力(MSML-MIMO)エンコーダーデコーダーアーキテクチャを構築します。第 2 に、複数の連続フレームを使用する DLVBD 法とは異なり、新しい制約付き変形可能畳み込み再ブラーリング (CDCR) 戦略が提案されます。この戦略では、入力された単一モーション ブラー画像のぼやけた特徴に変形可能畳み込みが最初に適用され、サンプリング ポイントが学習されます。各ピクセルのモーション ブラー カーネル。これは、PMPB モデルにおける手ぶれのモーション密度関数の推定に似ています。次に、学習したサンプリング ポイントの収束を制約するために、新しい PMPB ベースの再ブラーリング損失関数が提案されます。学習されたサンプリング ポイントは、各ピクセルの相対モーション トラジェクトリとよりよく一致し、空間バリアント モーション ブラー カーネル推定の精度を向上させます。
Most existing deep-learning-based single image dynamic scene blind deblurring (SIDSBD) methods usually design deep networks to directly remove the spatially-variant motion blurs from one inputted motion blurred image, without blur kernels estimation. In this paper, inspired by the Projective Motion Path Blur (PMPB) model and deformable convolution, we propose a novel constrained deformable convolutional network (CDCN) for efficient single image dynamic scene blind deblurring, which simultaneously achieves accurate spatially-variant motion blur kernels estimation and the high-quality image restoration from only one observed motion blurred image. In our proposed CDCN, we first construct a novel multi-scale multi-level multi-input multi-output (MSML-MIMO) encoder-decoder architecture for more powerful features extraction ability. Second, different from the DLVBD methods that use multiple consecutive frames, a novel constrained deformable convolution reblurring (CDCR) strategy is proposed, in which the deformable convolution is first applied to blurred features of the inputted single motion blurred image for learning the sampling points of motion blur kernel of each pixel, which is similar to the estimation of the motion density function of the camera shake in the PMPB model, and then a novel PMPB-based reblurring loss function is proposed to constrain the learned sampling points convergence, which can make the learned sampling points match with the relative motion trajectory of each pixel better and promote the accuracy of the spatially-variant motion blur kernels estimation.
updated: Tue Aug 23 2022 03:28:21 GMT+0000 (UTC)
published: Tue Aug 23 2022 03:28:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト