マルチビューステレオ(MVS)は、複数のキャリブレーションされた画像から高密度点群などの3Dモデルを再構築する重要な3Dビジョンタスクです。オプティカルフロー用に開発されたRAFT(Recurrent All-Pairs Field Transforms)アーキテクチャに基づく新しいアプローチであるCER-MVS(Cascaded Epipolar RAFT Multiview Stereo)を提案します。 CER-MVSは、RAFTに5つの新しい変更を導入します。エピポーラコストボリューム、コストボリュームカスケード、コストボリュームのマルチビュー融合、動的監視、および深度マップの多重解像度融合です。 CER-MVSは、マルチビューステレオでの以前の作業とは大きく異なります。 3Dコストボリュームを更新することによって動作する以前の作業とは異なり、CER-MVSは視差フィールドを更新することによって動作します。さらに、再構築された点群の完全性と精度のバランスをとるための適応しきい値法を提案します。実験によると、私たちのアプローチは、DTUで競争力のあるパフォーマンス(既知の結果の中で2番目に優れている)を達成し、Tanks-and-Templesベンチマーク(中級および上級セットの両方)で最先端のパフォーマンスを達成します。コードはhttps://github.com/princeton-vl/CER-MVSで入手できます
We address multiview stereo (MVS), an important 3D vision task that reconstructs a 3D model such as a dense point cloud from multiple calibrated images. We propose CER-MVS (Cascaded Epipolar RAFT Multiview Stereo), a new approach based on the RAFT (Recurrent All-Pairs Field Transforms) architecture developed for optical flow. CER-MVS introduces five new changes to RAFT: epipolar cost volumes, cost volume cascading, multiview fusion of cost volumes, dynamic supervision, and multiresolution fusion of depth maps. CER-MVS is significantly different from prior work in multiview stereo. Unlike prior work, which operates by updating a 3D cost volume, CER-MVS operates by updating a disparity field. Furthermore, we propose an adaptive thresholding method to balance the completeness and accuracy of the reconstructed point clouds. Experiments show that our approach achieves competitive performance on DTU (the second best among known results) and state-of-the-art performance on the Tanks-and-Temples benchmark (both the intermediate and advanced set). Code is available at https://github.com/princeton-vl/CER-MVS