オブジェクトの6Dポーズを推定することは、輸送、自律ナビゲーション、操作などのロボットタスクだけでなく、仮想現実や拡張現実などのロボットを超えたシナリオでも役立ちます。単一画像のポーズ推定に関して、ポーズ追跡は、起こり得る検出の不一致を克服し、ポーズ推定効率を改善するために、複数のフレームにわたる時間情報を考慮に入れる。この作業では、VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を紹介します。これは、慣性データとカメラデータを組み合わせて、オブジェクトのポーズ追跡の問題にリアルタイムで対処します。主な貢献は、視覚的特徴と慣性的特徴を融合して、連続する画像フレーム間のオブジェクトの相対的な6Dポーズを予測する新しいDNNアーキテクチャの設計です。次に、相対的なポーズを連続的に組み合わせることにより、全体的な6Dポーズが推定されます。私たちのアプローチは、既存の最先端のソリューションでは処理が非常に難しいことがよく知られている、高度に遮蔽されたオブジェクトの顕著なポーズ推定結果を示しています。提案されたアプローチの有効性は、RGB画像、IMUデータ、および自動ラベリング技術を採用して作成された正確な6Dポーズ注釈を備えたVIYCBと呼ばれる新しいデータセットで検証されます。このアプローチは、最先端の技術に匹敵する精度性能を提供しますが、リアルタイムであるという追加の利点もあります。
Estimating the 6D pose of objects is beneficial for robotics tasks such as transportation, autonomous navigation, manipulation as well as in scenarios beyond robotics like virtual and augmented reality. With respect to single image pose estimation, pose tracking takes into account the temporal information across multiple frames to overcome possible detection inconsistencies and to improve the pose estimation efficiency. In this work, we introduce a novel Deep Neural Network (DNN) called VIPose, that combines inertial and camera data to address the object pose tracking problem in real-time. The key contribution is the design of a novel DNN architecture which fuses visual and inertial features to predict the objects' relative 6D pose between consecutive image frames. The overall 6D pose is then estimated by consecutively combining relative poses. Our approach shows remarkable pose estimation results for heavily occluded objects that are well known to be very challenging to handle by existing state-of-the-art solutions. The effectiveness of the proposed approach is validated on a new dataset called VIYCB with RGB image, IMU data, and accurate 6D pose annotations created by employing an automated labeling technique. The approach presents accuracy performances comparable to state-of-the-art techniques, but with the additional benefit of being real-time.