arXiv reaDer
SCFusion:セマンティック完了によるリアルタイムのインクリメンタルシーンの再構築
SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion
深度データからのリアルタイムのシーン再構成は、必然的にオクルージョンの影響を受け、その結果、不完全な3Dモデルにつながります。次に、部分的な再構築は、拡張現実、ロボットナビゲーション、3Dマッピングなどのコンテキストでアプリケーションにそれらを活用するアルゴリズムのパフォーマンスを制限します。ほとんどの方法は、欠落しているジオメトリをオフライン最適化として予測することでこの問題に対処しているため、リアルタイムアプリケーションとの互換性がありません。深度マップの入力シーケンスに基づいて、シーンの再構築とセマンティックシーンの完了をインクリメンタルかつリアルタイムで共同で実行することにより、この問題を改善するフレームワークを提案します。私たちのフレームワークは、占有マップを処理するように設計された新しいニューラルアーキテクチャに依存し、ボクセル状態を活用して、セマンティック補完を3Dグローバルモデルと正確かつ効率的に融合します。提案されたアプローチを定量的および定性的に評価し、私たちの方法がリアルタイムで正確な3Dセマンティックシーンの完成を取得できることを示します。
Real-time scene reconstruction from depth data inevitably suffers from occlusion, thus leading to incomplete 3D models. Partial reconstructions, in turn, limit the performance of algorithms that leverage them for applications in the context of, e.g., augmented reality, robotic navigation, and 3D mapping. Most methods address this issue by predicting the missing geometry as an offline optimization, thus being incompatible with real-time applications. We propose a framework that ameliorates this issue by performing scene reconstruction and semantic scene completion jointly in an incremental and real-time manner, based on an input sequence of depth maps. Our framework relies on a novel neural architecture designed to process occupancy maps and leverages voxel states to accurately and efficiently fuse semantic completion with the 3D global model. We evaluate the proposed approach quantitatively and qualitatively, demonstrating that our method can obtain accurate 3D semantic scene completion in real-time.
updated: Tue Mar 02 2021 11:40:28 GMT+0000 (UTC)
published: Mon Oct 26 2020 15:31:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト