arXiv reaDer
焦点ぼけ除去のためのデュアル ピクセル アライメントの学習
Learning Dual-Pixel Alignment for Defocus Deblurring
実世界のアプリケーションで、焦点がぼけた単一のぼやけた画像から鮮明な画像を復元することは困難な作業です。最近の多くのカメラでは、デュアル ピクセル (DP) センサーが 2 つの画像ビューを作成します。これに基づいて、ステレオ情報を利用して焦点ぼけ除去に役立てることができます。既存の DP 焦点ぼけ除去方法によって達成された印象的な結果にもかかわらず、DP 画像ビュー間のずれはまだ研究されておらず、DP 焦点ぼけ除去を改善する余地が残されています。この作業では、焦点ぼけ除去のためのデュアル ピクセル アライメント ネットワーク (DPANet) を提案します。一般に、DPANet はスキップ接続を備えたエンコーダー/デコーダーであり、エンコーダーで共有パラメーターを使用する 2 つの分岐を使用して、左右のビューから深い特徴を抽出して整列させ、1 つのデコーダーを使用して、整列された特徴を融合させてシャープな画像を予測します。 . DP ビューのぼかし量が異なるため、左右のビューを揃えるのは簡単ではありません。この目的のために、新しいエンコーダ整列モジュール (EAM) とデコーダ整列モジュール (DAM) を提案します。特に、DPビュー間の視差を測定するためにEAMで相関レイヤーが提案されています。DPビューの深い特徴は、変形可能な畳み込みを使用してそれに応じて整列させることができます。 DAM は、エンコーダーのスキップ接続機能とデコーダーのディープ機能のアライメントをさらに強化できます。いくつかの EAM と DAM を導入することで、DPANet の DP ビューを適切に調整して、潜在的なシャープな画像をより適切に予測できます。実世界のデータセットでの実験結果は、私たちの DPANet が最先端のブレ除去方法よりも著しく優れていることを示しており、視覚的にもっともらしいシャープな構造とテクスチャを回復しながら焦点ぼけを減らしています。
It is a challenging task to recover sharp image from a single defocus blurry image in real-world applications. On many modern cameras, dual-pixel (DP) sensors create two-image views, based on which stereo information can be exploited to benefit defocus deblurring. Despite the impressive results achieved by existing DP defocus deblurring methods, the misalignment between DP image views is still not studied, leaving room for improving DP defocus deblurring. In this work, we propose a Dual-Pixel Alignment Network (DPANet) for defocus deblurring. Generally, DPANet is an encoder-decoder with skip-connections, where two branches with shared parameters in the encoder are employed to extract and align deep features from left and right views, and one decoder is adopted to fuse aligned features for predicting the sharp image. Due to that DP views suffer from different blur amounts, it is not trivial to align left and right views. To this end, we propose novel encoder alignment module (EAM) and decoder alignment module (DAM). In particular, a correlation layer is suggested in EAM to measure the disparity between DP views, whose deep features can then be accordingly aligned using deformable convolutions. DAM can further enhance the alignment of skip-connected features from encoder and deep features in decoder. By introducing several EAMs and DAMs, DP views in DPANet can be well aligned for better predicting latent sharp image. Experimental results on real-world datasets show that our DPANet is notably superior to state-of-the-art deblurring methods in reducing defocus blur while recovering visually plausible sharp structures and textures.
updated: Mon Feb 20 2023 03:25:44 GMT+0000 (UTC)
published: Tue Apr 26 2022 07:02:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト