arXiv reaDer
マルチビューステレオを検索するマルチ戦略範囲を備えたコストボリュームピラミッドネットワーク
Cost Volume Pyramid Network with Multi-strategies Range Searching for Multi-view Stereo
マルチビューステレオは、挑戦を続けながら、コンピュータビジョンにおける重要な研究課題です。近年、深層学習ベースの方法は、このタスクで優れたパフォーマンスを示しています。深度マップを粗いものから細かいものへと段階的に改良するコストボリュームピラミッドネットワークベースの方法は、より少ないメモリを消費しながら、有望な結果をもたらしました。ただし、これらの方法では、各段階のコストボリュームの特性を十分に考慮していないため、各コストボリュームの段階で同様の範囲検索戦略を採用することになります。この作業では、マルチビューステレオのさまざまな検索戦略を備えた新しいコストボリュームピラミッドベースのネットワークを紹介します。さまざまな深度範囲のサンプリング戦略を選択し、適応型ユニモーダルフィルタリングを適用することで、低解像度の段階でより正確な深度推定を取得し、深度マップを任意の解像度に繰り返しアップサンプリングできます。 DTUデータセットとBlendedMVSデータセットの両方で広範な実験を実施しましたが、結果は、私たちの方法がほとんどの最先端の方法よりも優れていることを示しています。
Multi-view stereo is an important research task in computer vision while still keeping challenging. In recent years, deep learning-based methods have shown superior performance on this task. Cost volume pyramid network-based methods which progressively refine depth map in coarse-to-fine manner, have yielded promising results while consuming less memory. However, these methods fail to take fully consideration of the characteristics of the cost volumes in each stage, leading to adopt similar range search strategies for each cost volume stage. In this work, we present a novel cost volume pyramid based network with different searching strategies for multi-view stereo. By choosing different depth range sampling strategies and applying adaptive unimodal filtering, we are able to obtain more accurate depth estimation in low resolution stages and iteratively upsample depth map to arbitrary resolution. We conducted extensive experiments on both DTU and BlendedMVS datasets, and results show that our method outperforms most state-of-the-art methods.
updated: Mon Jul 25 2022 10:14:53 GMT+0000 (UTC)
published: Mon Jul 25 2022 10:14:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト