arXiv reaDer
レンダリングベースの増強の観点から多視点ステレオを再考する
Rethinking the Multi-view Stereo from the Perspective of Rendering-based Augmentation
GigaMVS は、その大規模で複雑なオクルージョン、およびギガピクセル イメージに対して、既存のマルチビュー ステレオ (MVS) アルゴリズムにいくつかの課題を提示します。これらの問題に対処するために、まず最先端の学習ベースの MVS メソッドの 1 つである --MVSFormer を適用して、従来の PatchMatch メソッドで被るテクスチャのない領域や反射領域などの扱いにくいシナリオを克服しますが、いくつかの点で失敗します。大きなシーンの再構成。さらに、ACMMP、OpenMVS、RealityCapture などの従来の PatchMatch アルゴリズムを活用して、大規模なシーンの完全性をさらに向上させます。さらに、ディープ ラーニング手法と従来の PatchMatch の両方の利点を統合するために、深度とカラー画像をレンダリングして、MVSFormer モデルをさらに微調整することを提案します。特に、MVS 方法は、MVS コミュニティにとって重要であると信じている同時照明により、レンダリングされた画像を通じてはるかに優れた予測を生成できることがわかりました。したがって、MVSFormer は大規模なシーンに一般化することができ、テクスチャのない再構成の問題を補完的に解決します。最後に、RealityCapture からのものを除く上記のすべての点群を集め、競合する GigaReconstruction でトップ 1 にランク付けしました。
GigaMVS presents several challenges to existing Multi-View Stereo (MVS) algorithms for its large scale, complex occlusions, and gigapixel images. To address these problems, we first apply one of the state-of-the-art learning-based MVS methods, --MVSFormer, to overcome intractable scenarios such as textureless and reflections regions suffered by traditional PatchMatch methods, but it fails in a few large scenes' reconstructions. Moreover, traditional PatchMatch algorithms such as ACMMP, OpenMVS, and RealityCapture are leveraged to further improve the completeness in large scenes. Furthermore, to unify both advantages of deep learning methods and the traditional PatchMatch, we propose to render depth and color images to further fine-tune the MVSFormer model. Notably, we find that the MVS method could produce much better predictions through rendered images due to the coincident illumination, which we believe is significant for the MVS community. Thus, MVSFormer is capable of generalizing to large-scale scenes and complementarily solves the textureless reconstruction problem. Finally, we have assembled all point clouds mentioned above except ones from RealityCapture and ranked Top-1 on the competitive GigaReconstruction.
updated: Sat Mar 11 2023 14:55:06 GMT+0000 (UTC)
published: Sat Mar 11 2023 14:55:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト