既存のライト フィールド (LF) 深度推定方法は、通常、回帰視差マップとグラウンドトゥルース マップとの間のピクセル単位の L1 損失によって監視される回帰問題として深度推定を考慮します。ただし、視差マップは視差分布の部分空間投影 (つまり、期待値) にすぎませんが、モデルが学習するためには後者の方がより重要です。この論文では、ディープネットワークの力を十分に活用して、サブピクセルの視差分布を学習するためのシンプルで効果的な方法を提案します。私たちの方法では、サブピクセルレベルでコストボリュームを構築して、より細かい深度分布を生成し、不確実性を意識した焦点損失を設計して、視差分布がグラウンドトゥルースに近づくように監視します。広範な実験結果は、私たちの方法の有効性を示しています。 SubFocal と呼ばれる私たちの方法は、HCI 4D LF ベンチマークに提出された 99 のアルゴリズムの中で、5 つの精度指標 (つまり、BadPix0.01、BadPix0.03、BadPix0.07、MSE、および Q25) すべての点で第 1 位にランクされ、 OACC-Net や AttMLFNet などの最近の最先端の LF 深度メソッドよりも優れています。コードとモデルは https://github.com/chaowentao/SubFocal で入手できます。
Existing light field (LF) depth estimation methods generally consider depth estimation as a regression problem, supervised by a pixel-wise L1 loss between the regressed disparity map and the groundtruth one. However, the disparity map is only a sub-space projection (i.e., an expectation) of the disparity distribution, while the latter one is more essential for models to learn. In this paper, we propose a simple yet effective method to learn the sub-pixel disparity distribution by fully utilizing the power of deep networks. In our method, we construct the cost volume at sub-pixel level to produce a finer depth distribution and design an uncertainty-aware focal loss to supervise the disparity distribution to be close to the groundtruth one. Extensive experimental results demonstrate the effectiveness of our method. Our method, called SubFocal, ranks the first place among 99 submitted algorithms on the HCI 4D LF Benchmark in terms of all the five accuracy metrics (i.e., BadPix0.01, BadPix0.03, BadPix0.07, MSE and Q25), and significantly outperforms recent state-of-the-art LF depth methods such as OACC-Net and AttMLFNet. Code and model are available at https://github.com/chaowentao/SubFocal.