マルチビューステレオ(MVS)は、正確な3D再構成のための重要なタスクです。最近の研究では、集約された3Dコストボリュームとその正則化を設計することにより、MVSでのマッチングコストボリュームのパフォーマンスを改善しようとしました。このホワイトペーパーでは、他のステップで大量の計算を行うことなく、マッチングコストのパフォーマンスを向上させるための堅牢な特徴抽出ネットワークの学習に焦点を当てています。特に、動的スケール特徴抽出ネットワーク、つまりCDSFNetを紹介します。これは、複数の新しい畳み込みレイヤーで構成されており、各レイヤーは、画像表面の法線曲率によってガイドされる各ピクセルに適切なパッチスケールを選択できます。その結果、CDFSNetは最適なパッチスケールを推定して、参照画像とソース画像間の正確なマッチング計算のための識別機能を学習できます。堅牢な抽出された特徴を適切なコスト定式化戦略と組み合わせることにより、結果として得られるMVSアーキテクチャは深度マップをより正確に推定できます。広範な実験は、提案された方法が複雑な屋外シーンで他の最先端の方法よりも優れていることを示した。再構築されたモデルの完全性が大幅に向上します。その結果、このメソッドは、他のMVSメソッドよりも高速な実行時間と少ないメモリで高解像度の入力を処理できます。ソースコードはurlhttps://github.com/TruongKhang/cds-mvsnetで入手できます。
Multi-view stereo (MVS) is a crucial task for precise 3D reconstruction. Most recent studies tried to improve the performance of matching cost volume in MVS by designing aggregated 3D cost volumes and their regularization. This paper focuses on learning a robust feature extraction network to enhance the performance of matching costs without heavy computation in the other steps. In particular, we present a dynamic scale feature extraction network, namely, CDSFNet. It is composed of multiple novel convolution layers, each of which can select a proper patch scale for each pixel guided by the normal curvature of the image surface. As a result, CDFSNet can estimate the optimal patch scales to learn discriminative features for accurate matching computation between reference and source images. By combining the robust extracted features with an appropriate cost formulation strategy, our resulting MVS architecture can estimate depth maps more precisely. Extensive experiments showed that the proposed method outperforms other state-of-the-art methods on complex outdoor scenes. It significantly improves the completeness of reconstructed models. As a result, the method can process higher resolution inputs within faster run-time and lower memory than other MVS methods. Our source code is available at urlhttps://github.com/TruongKhang/cds-mvsnet.