arXiv reaDer
単一画像の焦点ぼけのぼけ除去の改善:デュアルピクセル画像がマルチタスク学習を通じてどのように役立つか
Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning
多くのカメラセンサーは、基本的なライトフィールドとして機能するデュアルピクセル(DP)設計を使用して、1回のキャプチャでシーンの2つのサブアパーチャビューを提供します。 DPセンサーは、カメラがオートフォーカスを実行する方法を改善するために開発されました。 DPセンサーの導入以来、研究者は、深度推定、反射除去、焦点ぼけ除去など、DPデータの追加の用途を発見しました。焦点ぼけのぼけ除去という後者のタスクに関心があります。特に、2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだ単一画像のぼけ除去ネットワークを提案します。具体的には、単一のぼやけた入力画像から2つのDPビューを予測することを共同で学習することで、画像のぼけを取り除くことを学習するネットワークの能力が向上することを示します。私たちの実験は、このマルチタスク戦略が最先端のデフォーカスぼけ除去法よりも+ 1dBPSNRの改善を達成することを示しています。さらに、当社のマルチタスクフレームワークにより、単一の入力画像から正確なDPビュー合成(たとえば、約39dB PSNR)が可能になります。これらの高品質のDPビューは、反射除去などの他のDPベースのアプリケーションに使用できます。この取り組みの一環として、DPビュー合成タスクのトレーニングをサポートするために、7,059枚の高品質画像の新しいデータセットをキャプチャしました。データセット、コード、トレーニング済みモデルは、https://github.com/Abdullah-Abuolaim/multi-task-defocus-deblurring-dual-pixel-nimatで公開されます。
Many camera sensors use a dual-pixel (DP) design that operates as a rudimentary light field providing two sub-aperture views of a scene in a single capture. The DP sensor was developed to improve how cameras perform autofocus. Since the DP sensor's introduction, researchers have found additional uses for the DP data, such as depth estimation, reflection removal, and defocus deblurring. We are interested in the latter task of defocus deblurring. In particular, we propose a single-image deblurring network that incorporates the two sub-aperture views into a multi-task framework. Specifically, we show that jointly learning to predict the two DP views from a single blurry input image improves the network's ability to learn to deblur the image. Our experiments show this multi-task strategy achieves +1dB PSNR improvement over state-of-the-art defocus deblurring methods. In addition, our multi-task framework allows accurate DP-view synthesis (e.g., ~ 39dB PSNR) from the single input image. These high-quality DP views can be used for other DP-based applications, such as reflection removal. As part of this effort, we have captured a new dataset of 7,059 high-quality images to support our training for the DP-view synthesis task. Our dataset, code, and trained models will be made publicly available at https://github.com/Abdullah-Abuolaim/multi-task-defocus-deblurring-dual-pixel-nimat
updated: Wed Aug 11 2021 14:45:15 GMT+0000 (UTC)
published: Wed Aug 11 2021 14:45:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト