ビデオシーケンス内のオブジェクトの6Dポーズを追跡することは、ロボットの操作にとって重要です。ただし、これまでのほとんどの取り組みでは、ターゲットオブジェクトのCADモデルが、少なくともカテゴリレベルで、オフライントレーニングまたはオンラインテンプレートマッチング中に利用可能であると想定していることがよくあります。この作品は、インスタンスレベルでもカテゴリレベルでも3Dモデルに依存しない、新しいオブジェクトの6Dポーズ追跡の一般的なフレームワークであるBundleTrackを提案します。これは、セグメンテーションとロバストな特徴抽出のためのディープラーニングの最近の進歩の補完的な属性、および時空間の一貫性のためのメモリ拡張ポーズグラフの最適化を活用します。これにより、重大なオクルージョンやオブジェクトの動きなど、さまざまな困難なシナリオでの長期的な低ドリフトの追跡が可能になります。 2つの公開ベンチマークが与えられた包括的な実験は、提案されたアプローチが最先端のカテゴリレベルの6D追跡または動的SLAM手法を大幅に上回っていることを示しています。オブジェクトインスタンスCADモデルに依存する最先端の方法と比較すると、提案された方法の情報要件が削減されているにもかかわらず、同等のパフォーマンスが達成されます。 CUDAでの効率的な実装により、フレームワーク全体で10Hzのリアルタイムパフォーマンスが提供されます。コードはhttps://github.com/wenbowen123/BundleTrackで入手できます。
Tracking the 6D pose of objects in video sequences is important for robot manipulation. Most prior efforts, however, often assume that the target object's CAD model, at least at a category-level, is available for offline training or during online template matching. This work proposes BundleTrack, a general framework for 6D pose tracking of novel objects, which does not depend upon 3D models, either at the instance or category-level. It leverages the complementary attributes of recent advances in deep learning for segmentation and robust feature extraction, as well as memory-augmented pose graph optimization for spatiotemporal consistency. This enables long-term, low-drift tracking under various challenging scenarios, including significant occlusions and object motions. Comprehensive experiments given two public benchmarks demonstrate that the proposed approach significantly outperforms state-of-art, category-level 6D tracking or dynamic SLAM methods. When compared against state-of-art methods that rely on an object instance CAD model, comparable performance is achieved, despite the proposed method's reduced information requirements. An efficient implementation in CUDA provides a real-time performance of 10Hz for the entire framework. Code is available at: https://github.com/wenbowen123/BundleTrack