arXiv reaDer
マルチビュー ステレオ表現の再訪: 領域対応 MVSNet
Multi-View Stereo Representation Revisit: Region-Aware MVSNet
深層学習ベースのマルチビュー ステレオは、マルチビューから幾何学的に詳細なオブジェクトを完全に再構築するための強力なパラダイムとして登場しました。既存のアプローチのほとんどは、予測されたポイントと光線とサーフェスの交点との間のギャップを最小化することによってピクセル単位の深度値を推定するだけであり、通常はサーフェス トポロジを無視します。これは、適切に再構築できないテクスチャのない領域とサーフェス境界に不可欠です。この問題に対処するには、モデルがより広い範囲の表面を認識できるように、ポイントから表面までの距離を利用することをお勧めします。この目的のために、コスト ボリュームから距離ボリュームを予測して、サーフェス周辺のポイントの符号付き距離を推定します。提案された RA-MVSNet は、仮想平面を表面のパッチに関連付けることによって知覚範囲が強化されるため、パッチ対応です。したがって、テクスチャのない領域の完成度を高め、境界での外れ値を減らすことができます。さらに、ディスタンス ボリュームを導入することで、詳細なメッシュ トポロジを生成できます。従来の深層学習ベースのマルチビュー ステレオ法と比較して、提案された RA-MVSNet アプローチは、符号付き距離監視を利用することで、より完全な再構成結果を取得します。 DTU と Tanks \& Temples データセットの両方での実験は、提案されたアプローチが最先端の結果を達成することを示しています。
Deep learning-based multi-view stereo has emerged as a powerful paradigm for reconstructing the complete geometrically-detailed objects from multi-views. Most of the existing approaches only estimate the pixel-wise depth value by minimizing the gap between the predicted point and the intersection of ray and surface, which usually ignore the surface topology. It is essential to the textureless regions and surface boundary that cannot be properly reconstructed. To address this issue, we suggest to take advantage of point-to-surface distance so that the model is able to perceive a wider range of surfaces. To this end, we predict the distance volume from cost volume to estimate the signed distance of points around the surface. Our proposed RA-MVSNet is patch-awared, since the perception range is enhanced by associating hypothetical planes with a patch of surface. Therefore, it could increase the completion of textureless regions and reduce the outliers at the boundary. Moreover, the mesh topologies with fine details can be generated by the introduced distance volume. Comparing to the conventional deep learning-based multi-view stereo methods, our proposed RA-MVSNet approach obtains more complete reconstruction results by taking advantage of signed distance supervision. The experiments on both the DTU and Tanks \& Temples datasets demonstrate that our proposed approach achieves the state-of-the-art results.
updated: Thu Apr 27 2023 07:08:37 GMT+0000 (UTC)
published: Wed Apr 26 2023 15:17:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト