arXiv reaDer
FaSS-MVS-UAV搭載の単眼画像からの表面認識半グローバルマッチングを備えた高速マルチビューステレオ
FaSS-MVS -- Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery
FaSS-MVSを使用して、UAVによってキャプチャされた単眼空中ビデオデータからの迅速な深度と法線マップの推定を可能にする、表面認識の半グローバルマッチングを備えた高速マルチビューステレオのアプローチを提示します。次に、FaSS-MVSによって推定されたデータは、オンライン3Dマッピングを容易にします。つまり、画像データの取得または受信中に、シーンの3Dマップが即座に段階的に生成されます。 FaSS-MVSは、深度と通常のデータ、および対応する信頼スコアが粗い方法から細かい方法で推定される階層処理スキームで構成されており、によってキャプチャされた斜めの画像に固有の大きなシーンの深度を効率的に処理できます。低空飛行のUAV。実際の深度推定では、高密度マルチイメージマッチングに平面スイープアルゴリズムを使用して深度仮説を作成し、そこから表面を意識したセミグローバル最適化によって実際の深度マップを抽出し、SGMの正面平行バイアスを低減します。推定された深度マップが与えられると、ピクセル単位の表面法線情報は、深度マップを点群に再投影し、制限されたローカル近傍内の法線ベクトルを計算することによって計算されます。徹底的な定量的および奪格的研究では、FaSS-MVSによって計算された3D情報の精度が、オフラインマルチビューステレオの最先端のアプローチの精度に近く、誤差が1桁高くないことを示しています。 COLMAPよりも。ただし、同時に、単一の深度と法線マップを推定するためのFaSS-MVSの平均実行時間はCOLMAPの14%未満であり、フルHD画像のオンラインおよび増分処理を1-で実行できます。 2Hz。
With FaSS-MVS, we present an approach for fast multi-view stereo with surface-aware Semi-Global Matching that allows for rapid depth and normal map estimation from monocular aerial video data captured by UAVs. The data estimated by FaSS-MVS, in turn, facilitates online 3D mapping, meaning that a 3D map of the scene is immediately and incrementally generated while the image data is acquired or being received. FaSS-MVS is comprised of a hierarchical processing scheme in which depth and normal data, as well as corresponding confidence scores, are estimated in a coarse-to-fine manner, allowing to efficiently process large scene depths which are inherent to oblique imagery captured by low-flying UAVs. The actual depth estimation employs a plane-sweep algorithm for dense multi-image matching to produce depth hypotheses from which the actual depth map is extracted by means of a surface-aware semi-global optimization, reducing the fronto-parallel bias of SGM. Given the estimated depth map, the pixel-wise surface normal information is then computed by reprojecting the depth map into a point cloud and calculating the normal vectors within a confined local neighborhood. In a thorough quantitative and ablative study we show that the accuracies of the 3D information calculated by FaSS-MVS is close to that of state-of-the-art approaches for offline multi-view stereo, with the error not even being one magnitude higher than that of COLMAP. At the same time, however, the average run-time of FaSS-MVS to estimate a single depth and normal map is less than 14 % of that of COLMAP, allowing to perform an online and incremental processing of Full-HD imagery at 1-2 Hz.
updated: Wed Dec 01 2021 20:43:33 GMT+0000 (UTC)
published: Wed Dec 01 2021 20:43:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト