テクスチャのない領域の再構築は、画像間に信頼できるピクセルの対応関係がないため、MVS では長い間困難な問題でした。この論文では、フィルタリング、リファインメント、セグメンテーションを通じて 3D 再構成においてテクスチャレス領域によってもたらされる課題に効果的に取り組む新しい方法である、テクスチャレス認識セグメンテーションおよび相関リファインメント ガイド付きマルチビュー ステレオ (TSAR-MVS) を提案します。まず、結合仮説フィルタリングを実装します。これは、信頼度推定器と視差不連続検出器を統合して、不正確な深度推定を排除する手法です。次に、信頼性の高い深度でピクセルを拡散するために、RANSAC を利用してスーパーピクセルを生成する反復相関リファインメント戦略を導入し、その後に正確に決定されたピクセルの影響を広げるメディアン フィルターを導入します。最後に、テクスチャレスを意識したセグメンテーション手法を紹介します。エッジ検出とライン検出により、3D 平面を使用してフィッティングされる大きなテクスチャのない領域を正確に識別します。広範なデータセットでの実験により、私たちの方法がほとんどの非学習方法を大幅に上回り、微細なディテールを維持しながらテクスチャのない領域に対して堅牢性を示すことが実証されました。
The reconstruction of textureless areas has long been a challenging problem in MVS due to lack of reliable pixel correspondences between images. In this paper, we propose the Textureless-aware Segmentation And Correlative Refinement guided Multi-View Stereo (TSAR-MVS), a novel method that effectively tackles challenges posed by textureless areas in 3D reconstruction through filtering, refinement and segmentation. First, we implement joint hypothesis filtering, a technique that merges a confidence estimator with a disparity discontinuity detector to eliminate incorrect depth estimations. Second, to spread the pixels with confident depth, we introduce a iterative correlation refinement strategy that leverages RANSAC to generate superpixels, succeeded by a median filter for broadening the influence of accurately determined pixels.Finally, we present a textureless-aware segmentation method that leverages edge detection and line detection for accurately identify large textureless regions to be fitted using 3D planes. Experiments on extensive datasets demonstrate that our method significantly outperforms most non-learning methods and exhibits robustness to textureless areas while preserving fine details.