arXiv reaDer
OccCasNet: ライト フィールド深度推定のためのオクルージョンを意識したカスケード コスト ボリューム
OccCasNet: Occlusion-aware Cascade Cost Volume for Light Field Depth Estimation
ライトフィールド (LF) の深度推定は、数多くの実用的なアプリケーションにおいて重要なタスクです。ただし、マルチビュー ステレオ (MVS) に基づく主流の方法は、より細かいコスト ボリュームを構築する必要があるため、リソースが大量に消費され、時間がかかります。この問題に対処し、精度と効率の間のより良いトレードオフを達成するために、LF 深度 (視差) 推定のためのオクルージョンを意識したカスケード コスト ボリュームを提案します。私たちのカスケード戦略は、より細かいコストボリュームの構築中にサンプリング間隔を一定に保ちながら、サンプリング数を減らします。また、オクルージョン マップを導入して、オクルージョンを意識したコスト ボリュームを構築する際の精度を高めます。具体的には、まず、粗い視差推定ネットワークを通じて粗い視差マップを取得します。次に、サイドビューのサブアパーチャ画像 (SAI) が、初期視差マップに基づいて中央ビューにワープされます。次に、各 SAI のオクルージョン マップを生成するために、ワープされた SAI と中心 SAI の間の光一致性制約を提案します。最後に、粗い視差マップとオクルージョン マップを導入して、オクルージョンを意識した洗練されたコスト ボリュームを構築し、洗練された視差推定ネットワークがより正確な視差マップを生成できるようにします。広範な実験により、私たちの方法の有効性が実証されています。最先端の手法と比較して、当社の手法は精度と効率の優れたバランスを実現しており、HCI 4D ベンチマークで公開されている手法の中で MSE および Q25 メトリクスの点で第 1 位にランクされています。提案されたメソッドのコードとモデルは、https://github.com/chaowentao/OccCasNet で入手できます。
Light field (LF) depth estimation is a crucial task with numerous practical applications. However, mainstream methods based on the multi-view stereo (MVS) are resource-intensive and time-consuming as they need to construct a finer cost volume. To address this issue and achieve a better trade-off between accuracy and efficiency, we propose an occlusion-aware cascade cost volume for LF depth (disparity) estimation. Our cascaded strategy reduces the sampling number while keeping the sampling interval constant during the construction of a finer cost volume. We also introduce occlusion maps to enhance accuracy in constructing the occlusion-aware cost volume. Specifically, we first obtain the coarse disparity map through the coarse disparity estimation network. Then, the sub-aperture images (SAIs) of side views are warped to the center view based on the initial disparity map. Next, we propose photo-consistency constraints between the warped SAIs and the center SAI to generate occlusion maps for each SAI. Finally, we introduce the coarse disparity map and occlusion maps to construct an occlusion-aware refined cost volume, enabling the refined disparity estimation network to yield a more precise disparity map. Extensive experiments demonstrate the effectiveness of our method. Compared with state-of-the-art methods, our method achieves a superior balance between accuracy and efficiency and ranks first in terms of MSE and Q25 metrics among published methods on the HCI 4D benchmark. The code and model of the proposed method are available at https://github.com/chaowentao/OccCasNet.
updated: Sun May 28 2023 12:31:27 GMT+0000 (UTC)
published: Sun May 28 2023 12:31:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト