arXiv reaDer
DefSLAM: Tracking and Mapping of Deforming Scenes from Monocular Sequences
単眼SLAMアルゴリズムは、剛体のシーンを観察する場合に堅牢に動作しますが、観察されるシーンが変形する場合、たとえば医療用内視鏡アプリケーションで失敗します。シーンの変形をリアルタイムで操作できる最初の単眼SLAM DefSLAMを紹介します。私たちのアプローチは、Shape-from-Template(SfT)とNon-Rigid Structure-from-Motion(NRSfM)の技法を組み合わせて、SLAMの典型的な探索シーケンスを処理します。変形追跡スレッドは、静止したシーンの形状をモデル化するテンプレートをSfT処理することにより、カメラのポーズと観測されたマップの変形をフレームレートで回復します。変形マッピングスレッドがトラッキングと並行して実行され、等角投影のNRSfMが完全なパースペクティブキーフレームのバッチを処理することにより、キーフレームレートでテンプレートを更新します。私たちの実験では、DefSLAMは、実験室で制御された実験と医療用内視鏡シーケンスの両方で、変形シーンのクローズアップシーケンスを処理し、移動するカメラに関するシーンの正確な3Dモデルを生成します。
Monocular SLAM algorithms perform robustly when observing rigid scenes, however, they fail when the observed scene deforms, for example, in medical endoscopy applications. We present DefSLAM, the first monocular SLAM capable of operating in deforming scenes in real-time. Our approach intertwines Shape-from-Template (SfT) and Non-Rigid Structure-from-Motion (NRSfM) techniques to deal with the exploratory sequences typical of SLAM. A deformation tracking thread recovers the pose of the camera and the deformation of the observed map, at frame rate, by means of SfT processing a template that models the scene shape-at-rest. A deformation mapping thread runs in parallel with the tracking to update the template, at keyframe rate, by means of an isometric NRSfM processing a batch of full perspective keyframes. In our experiments, DefSLAM processes close-up sequences of deforming scenes, both in a laboratory controlled experiment and in medical endoscopy sequences, producing accurate 3D models of the scene with respect to the moving camera.
updated: Tue Aug 25 2020 17:54:25 GMT+0000 (UTC)
published: Tue Aug 20 2019 15:27:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト