arXiv reaDer
DH-PTAM: ディープ ハイブリッド ステレオ イベント フレーム パラレル トラッキングおよびマッピング システム
DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System
この論文では、困難な環境で優れた視覚的並列追跡およびマッピング (PTAM) システムのための堅牢なアプローチを紹介します。私たちが提案する方法は、ステレオ視覚フレームとステレオ イベント ストリームの新しい時空間同期を通じて、ステレオ イベントベースおよびフレームベースのセンサーを含む異種マルチモーダル視覚センサーの長所を統合された参照フレームに組み合わせます。推定には深層学習ベースの特徴抽出と記述を採用し、ロバスト性をさらに強化しています。また、効率的な SLAM 動作のために、シンプルなループ閉鎖アルゴリズムによって補完された、エンドツーエンドの並列追跡およびマッピングの最適化レイヤーも導入します。 VECtor と TUM-VIE ベンチマークの小規模と大規模の両方の実世界シーケンスに関する包括的な実験を通じて、私たちの提案手法 (DH-PTAM) は、悪条件下、特に大規模な環境下での堅牢性と精度の点で優れたパフォーマンスを実証します。 HDR シナリオ。私たちの実装の研究ベースの Python API は、さらなる研究開発のために GitHub で公開されています:。
This paper presents a robust approach for a visual parallel tracking and mapping (PTAM) system that excels in challenging environments. Our proposed method combines the strengths of heterogeneous multi-modal visual sensors, including stereo event-based and frame-based sensors, in a unified reference frame through a novel spatio-temporal synchronization of stereo visual frames and stereo event streams. We employ deep learning-based feature extraction and description for estimation to enhance robustness further. We also introduce an end-to-end parallel tracking and mapping optimization layer complemented by a simple loop-closure algorithm for efficient SLAM behavior. Through comprehensive experiments on both small-scale and large-scale real-world sequences of VECtor and TUM-VIE benchmarks, our proposed method (DH-PTAM) demonstrates superior performance in terms of robustness and accuracy in adverse conditions, especially in large-scale HDR scenarios. Our implementation's research-based Python API is publicly available on GitHub for further research and development:
updated: Sun Jun 09 2024 13:56:51 GMT+0000 (UTC)
published: Fri Jun 02 2023 19:52:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト