デュアルピクセル(DP)ハードウェアは、各ピクセルを半分に分割し、単一のスナップショットでイメージペアを作成することで機能します。いくつかの作品は、DPペアをステレオペアとして扱うことにより、深度/逆深度を推定しています。ただし、デュアルピクセルの視差は、焦点ぼけがぼけている画像領域でのみ発生します。 DPペアの大きな焦点ぼけは、マッチングベースの深度推定アプローチのパフォーマンスに影響を与えます。ぼけ効果を盲目的に取り除く代わりに、ぼけと深度情報をリンクするDPペアの形成を研究します。本論文では、ぼけによる深度推定に役立つ数学的DPモデルを提案する。これらの調査により、エンドツーエンドのDDDNet(DPベースの深度およびデブラーネットワーク)を提案して、深度を共同で推定し、画像を復元するようになりました。さらに、DP画像形成プロセスと深度情報との関係を反映するリブラー損失を定義して、トレーニングで深度推定を正規化します。学習のための大量のデータの要件を満たすために、既存のRGBDデータセットからDPペアを使用してデータセットを作成できる最初のDP画像シミュレータを提案します。副次的な貢献として、さらなる調査のために実際のデータセットを収集します。合成データセットと実際のデータセットの両方での広範な実験的評価は、私たちのアプローチが最先端のアプローチと比較して競争力のあるパフォーマンスを達成していることを示しています。
The dual-pixel (DP) hardware works by splitting each pixel in half and creating an image pair in a single snapshot. Several works estimate depth/inverse depth by treating the DP pair as a stereo pair. However, dual-pixel disparity only occurs in image regions with the defocus blur. The heavy defocus blur in DP pairs affects the performance of matching-based depth estimation approaches. Instead of removing the blur effect blindly, we study the formation of the DP pair which links the blur and the depth information. In this paper, we propose a mathematical DP model which can benefit depth estimation by the blur. These explorations motivate us to propose an end-to-end DDDNet (DP-based Depth and Deblur Network) to jointly estimate the depth and restore the image. Moreover, we define a reblur loss, which reflects the relationship of the DP image formation process with depth information, to regularise our depth estimate in training. To meet the requirement of a large amount of data for learning, we propose the first DP image simulator which allows us to create datasets with DP pairs from any existing RGBD dataset. As a side contribution, we collect a real dataset for further research. Extensive experimental evaluation on both synthetic and real datasets shows that our approach achieves competitive performance compared to state-of-the-art approaches.