ライト フィールド (LF) 深度推定は、多くの LF ベースのアプリケーションで重要な役割を果たします。既存の LF 深度推定方法は、通常、回帰視差マップとグラウンドトゥルース マップとの間のピクセル単位の L1 損失によって監視される回帰問題として深度推定を考慮します。ただし、視差マップは視差分布の部分空間投影 (つまり、期待値) にすぎず、モデルの学習に不可欠です。この論文では、特に狭いベースラインのLFに対して、深いネットワークの力を十分に活用することにより、サブピクセルの視差分布を学習するためのシンプルで効果的な方法を提案します。サブピクセルレベルでコストボリュームを構築して、より細かい視差分布を生成し、不確実性を意識した焦点損失を設計して、予測された視差分布がグラウンドトゥルースに近づくように監視します。広範な実験結果は、私たちの方法の有効性を示しています。私たちの方法は、HCI 4D LF Benchmark で提出された 105 のアルゴリズムを超えて、4 つの精度指標 (つまり、BadPix 0.01、BadPix 0.03、BadPix 0.07、および MSE) すべての点で 1 位にランク付けされています。コードとモデルは https://github.com/chaowentao/SubFocal で入手できます。
Light field (LF) depth estimation plays a key role in many LF-based applications. Existing LF depth estimation methods generally consider depth estimation as a regression problem, supervised by a pixel-wise L1 loss between the regressed disparity map and the groundtruth one. However, the disparity map is only a sub-space projection (i.e., an expectation) of the disparity distribution, which is essential for models to learn. In this paper, we propose a simple yet effective method to learn the sub-pixel disparity distribution by fully utilizing the power of deep networks, especially for LF of narrow baselines. We construct the cost volume at the sub-pixel level to produce a finer disparity distribution and design an uncertainty-aware focal loss to supervise the predicted disparity distribution to be close to the groundtruth one. Extensive experimental results demonstrate the effectiveness of our method. Our method ranks the first place over 105 submitted algorithms on the HCI 4D LF Benchmark in terms of all the four accuracy metrics (i.e., BadPix 0.01, BadPix 0.03, BadPix 0.07, and MSE). The Code and model are available at https://github.com/chaowentao/SubFocal.