arXiv reaDer
DDR-Net:動的深度範囲を備えたマルチステージマルチビューステレオの学習
DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range
高解像度の深度マップを取得するために、以前の学習ベースのマルチビューステレオメソッドのいくつかは、粗い方法から細かい方法でコストボリュームピラミッドを構築します。これらのアプローチは、固定深度範囲の仮説を活用して、カスケードされた平面スイープボリュームを構築します。ただし、以前のピクセルごとの深度予測の不確実性は空間的に変化するため、各ピクセルに同一の範囲の仮説を設定することは不適切です。これらのアプローチとは異なり、前段階の範囲仮説の不確実性を学習するために範囲推定モジュール(REM)を適用することにより、深度範囲仮説を動的に決定する動的深度範囲ネットワーク(DDR-Net)を提案します。具体的には、DDR-Netでは、最初に、深度範囲全体にわたって画像の最も粗い解像度で初期深度マップを作成します。次に、範囲推定モジュール(REM)は、初期深度の確率分布情報を利用して、次の段階の深度範囲仮説を動的に推定します。さらに、学習した動的深度範囲を利用して洗練された深度マップを生成し、各ピクセルのグラウンドトゥルース値を次の段階の範囲仮説でカバーする新しい損失戦略を開発します。広範な実験結果は、私たちの方法がDTUベンチマークで他の最先端の方法よりも優れたパフォーマンスを達成し、Tanks andTemplesベンチマークで同等の結果が得られることを示しています。コードはhttps://github.com/Tangshengku/DDR-Netで入手できます。
To obtain high-resolution depth maps, some previous learning-based multi-view stereo methods build a cost volume pyramid in a coarse-to-fine manner. These approaches leverage fixed depth range hypotheses to construct cascaded plane sweep volumes. However, it is inappropriate to set identical range hypotheses for each pixel since the uncertainties of previous per-pixel depth predictions are spatially varying. Distinct from these approaches, we propose a Dynamic Depth Range Network (DDR-Net) to determine the depth range hypotheses dynamically by applying a range estimation module (REM) to learn the uncertainties of range hypotheses in the former stages. Specifically, in our DDR-Net, we first build an initial depth map at the coarsest resolution of an image across the entire depth range. Then the range estimation module (REM) leverages the probability distribution information of the initial depth to estimate the depth range hypotheses dynamically for the following stages. Moreover, we develop a novel loss strategy, which utilizes learned dynamic depth ranges to generate refined depth maps, to keep the ground truth value of each pixel covered in the range hypotheses of the next stage. Extensive experimental results show that our method achieves superior performance over other state-of-the-art methods on the DTU benchmark and obtains comparable results on the Tanks and Temples benchmark. The code is available at https://github.com/Tangshengku/DDR-Net.
updated: Fri Mar 26 2021 05:52:38 GMT+0000 (UTC)
published: Fri Mar 26 2021 05:52:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト