arXiv reaDer
学習済みパッチの共平面性、幾何学的一貫性、および適応ピクセル サンプリングを備えた Deep PatchMatch MVS
Deep PatchMatch MVS with Learned Patch Coplanarity, Geometric Consistency and Adaptive Pixel Sampling
マルチビュー ステレオ (MVS) の最近の研究では、学習可能なフォトメトリック スコアと正則化を PatchMatch ベースの最適化と組み合わせて、深さ、法線、可視性の堅牢なピクセル単位の推定を実現しています。ただし、非学習ベースの方法は、幾何学的な一貫性制約の使用と、高解像度で多くのビューを最適化する機能により、疎なビューを持つ大規模なシーンで依然として優れています。このホワイト ペーパーでは、パッチの共平面性を学習することで測光スコアを改善し、再投影誤差と組み合わせることができるスケーリングされた測光コストを学習することで幾何学的な一貫性を促進するための学習ベースのアプローチを構築します。また、メモリを削減して、より多くのビューとより大きなエンコーダでより大きな解像度でのトレーニングを可能にする、候補伝播のための適応ピクセル サンプリング戦略も提案します。これらの変更により、困難な ETH3D ベンチマークで精度と完全性が 6 ~ 15% 向上し、広く使用されている最先端の非学習アプローチ ACMM および ACMP よりも高い F1 パフォーマンスが得られます。
Recent work in multi-view stereo (MVS) combines learnable photometric scores and regularization with PatchMatch-based optimization to achieve robust pixelwise estimates of depth, normals, and visibility. However, non-learning based methods still outperform for large scenes with sparse views, in part due to use of geometric consistency constraints and ability to optimize over many views at high resolution. In this paper, we build on learning-based approaches to improve photometric scores by learning patch coplanarity and encourage geometric consistency by learning a scaled photometric cost that can be combined with reprojection error. We also propose an adaptive pixel sampling strategy for candidate propagation that reduces memory to enable training on larger resolution with more views and a larger encoder. These modifications lead to 6-15% gains in accuracy and completeness on the challenging ETH3D benchmark, resulting in higher F1 performance than the widely used state-of-the-art non-learning approaches ACMM and ACMP.
updated: Fri Oct 14 2022 07:29:03 GMT+0000 (UTC)
published: Fri Oct 14 2022 07:29:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト