この論文は、ポーズ画像からの多視点深度推定のための学習ベースの方法を提示します。私たちの核となるアイデアは、プレーン スイープ コスト ボリュームに反復的にインデックスを付け、畳み込み Gated Recurrent Unit (GRU) を介して深度マップを回帰する「学習から最適化」のパラダイムです。マルチビュー ジオメトリのエンコードではコスト ボリュームが最も重要な役割を果たすため、ピクセル レベルとフレーム レベルの両方でその構成を改善することを目指しています。ピクセル レベルでは、トランスフォーマー ブロックを参照画像 (ソース画像ではなく) に導入することで、シャム ネットワーク (画像の特徴を抽出するために MVS で通常使用される) の対称性を破ることを提案します。このような非対称ボリュームにより、ネットワークは参照画像からグローバルな特徴を抽出して深度マップを予測できます。参照画像とソース画像の間のポーズが不正確になる可能性があるため、相対ポーズを修正するために残差ポーズ ネットワークを組み込むことを提案します。これにより、基本的にフレーム レベルでのコスト ボリュームが修正されます。実世界のMVSデータセットで広範な実験を行い、データセット内評価とデータセット間の一般化の両方に関して、私たちの方法が最先端のパフォーマンスを達成することを示しています。
This paper presents a learning-based method for multi-view depth estimation from posed images. Our core idea is a "learning-to-optimize" paradigm that iteratively indexes a plane-sweeping cost volume and regresses the depth map via a convolutional Gated Recurrent Unit (GRU). Since the cost volume plays a paramount role in encoding the multi-view geometry, we aim to improve its construction both at pixel- and frame- levels. At the pixel level, we propose to break the symmetry of the Siamese network (which is typically used in MVS to extract image features) by introducing a transformer block to the reference image (but not to the source images). Such an asymmetric volume allows the network to extract global features from the reference image to predict its depth map. Given potential inaccuracies in the poses between reference and source images, we propose to incorporate a residual pose network to correct the relative poses. This essentially rectifies the cost volume at the frame level. We conduct extensive experiments on real-world MVS datasets and show that our method achieves state-of-the-art performance in terms of both within-dataset evaluation and cross-dataset generalization.