arXiv reaDer
IB-MVS:バイナリ決定に基づくディープマルチビューステレオの反復アルゴリズム
IB-MVS: An Iterative Algorithm for Deep Multi-View Stereo based on Binary Decisions
マルチビューステレオの新しい深層学習ベースの方法を紹介します。私たちの方法は、バイナリ決定方式で各ピクセルで実行可能な深度値の連続空間をトラバースすることにより、高解像度と高精度の深度マップを繰り返し推定します。決定プロセスは、ディープネットワークアーキテクチャを活用します。これは、各ピクセルの実際の深度が現在の反復の個々の深度仮説の前にあるか後ろにあるかを確立するピクセル単位のバイナリマスクを計算します。さらに、遮蔽された領域を処理するために、各反復で、異なるソース画像からの結果が、2番目のネットワークによって推定されたピクセル単位の重みを使用して融合されます。深さ空間の効率的な探索を可能にする採用されたバイナリ決定戦略のおかげで、私たちの方法は、解像度と精度を犠牲にすることなく、高解像度の画像を処理することができます。これは、深度空間の明示的な離散化が大量のコストの処理を必要とする、ほとんどの代替学習ベースのマルチビューステレオ手法とは一線を画しています。私たちの方法を、DTU、タンク、テンプル、および挑戦的なETH3Dベンチマークでの最先端のマルチビューステレオ方法と比較し、競争力のある結果を示しています。
We present a novel deep-learning-based method for Multi-View Stereo. Our method estimates high resolution and highly precise depth maps iteratively, by traversing the continuous space of feasible depth values at each pixel in a binary decision fashion. The decision process leverages a deep-network architecture: this computes a pixelwise binary mask that establishes whether each pixel actual depth is in front or behind its current iteration individual depth hypothesis. Moreover, in order to handle occluded regions, at each iteration the results from different source images are fused using pixelwise weights estimated by a second network. Thanks to the adopted binary decision strategy, which permits an efficient exploration of the depth space, our method can handle high resolution images without trading resolution and precision. This sets it apart from most alternative learning-based Multi-View Stereo methods, where the explicit discretization of the depth space requires the processing of large cost volumes. We compare our method with state-of-the-art Multi-View Stereo methods on the DTU, Tanks and Temples and the challenging ETH3D benchmarks and show competitive results.
updated: Mon Nov 29 2021 10:04:24 GMT+0000 (UTC)
published: Mon Nov 29 2021 10:04:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト