高解像度マルチビューステレオ用の新しいデータ駆動方式であるIterMVSを紹介します。隠れた状態の深さのピクセルごとの確率分布をエンコードする新しいGRUベースの推定量を提案します。マルチスケールのマッチング情報を取り込んで、モデルはこれらの分布を複数の反復にわたって改良し、深さと信頼度を推測します。深度マップを抽出するために、従来の分類と回帰を新しい方法で組み合わせます。 DTU、Tanks&Temples、ETH3Dでの方法の効率と有効性を検証します。私たちのモデルは、メモリとランタイムの両方で最も効率的な方法でありながら、DTUで競争力のあるパフォーマンスを実現し、Tanks&TemplesおよびETH3Dで、ほとんどの最先端の方法よりも優れた一般化能力を実現します。コードはhttps://github.com/FangjinhuaWang/IterMVSで入手できます。
We present IterMVS, a new data-driven method for high-resolution multi-view stereo. We propose a novel GRU-based estimator that encodes pixel-wise probability distributions of depth in its hidden state. Ingesting multi-scale matching information, our model refines these distributions over multiple iterations and infers depth and confidence. To extract the depth maps, we combine traditional classification and regression in a novel manner. We verify the efficiency and effectiveness of our method on DTU, Tanks&Temples and ETH3D. While being the most efficient method in both memory and run-time, our model achieves competitive performance on DTU and better generalization ability on Tanks&Temples as well as ETH3D than most state-of-the-art methods. Code is available at https://github.com/FangjinhuaWang/IterMVS.