複数のオブジェクトの検出と姿勢の推定は、重要なコンピューター ビジョン タスクです。後者は、ロボット工学や自動運転などのアプリケーションにおける下流の問題として前者に関連しています。ただし、両方のタスクが非常に複雑であるため、既存の方法では通常、それらを個別に処理しますが、これは最適ではありません。単眼視と 3D モデル注入の両方を使用した同時ニューラル モデリングを提案します。当社の Simultaneous Multiple Object detection and Pose Estimation ネットワーク (SMOPE-Net) は、エンドツーエンドのトレーニング可能なマルチタスク ネットワークであり、効率的なダウンストリーム ポーズ推定のためのアンカーフリー検出の利点も提供する複合損失を備えています。学習目的のトレーニング データの注釈を有効にするために、Twin-Space オブジェクトのラベル付け方法を開発し、その正確性を分析的および経験的に示します。ラベル付け方法を使用して、KITTI-6DoF データセットに約 7.5K の注釈付きフレームを提供します。 KITTI-6DoF と一般的な LineMod データセットに関する広範な実験では、SMOPE-Net を使用すると、既存のポーズ推定方法よりも一貫してパフォーマンスが向上することが示されています。ここでは、提案された SMOPE-Net、KITTI-6DoF データセット、および LabelImg3D ラベル付けツールへのリンクを示します。
Multiple object detection and pose estimation are vital computer vision tasks. The latter relates to the former as a downstream problem in applications such as robotics and autonomous driving. However, due to the high complexity of both tasks, existing methods generally treat them independently, which is sub-optimal. We propose simultaneous neural modeling of both using monocular vision and 3D model infusion. Our Simultaneous Multiple Object detection and Pose Estimation network (SMOPE-Net) is an end-to-end trainable multitasking network with a composite loss that also provides the advantages of anchor-free detections for efficient downstream pose estimation. To enable the annotation of training data for our learning objective, we develop a Twin-Space object labeling method and demonstrate its correctness analytically and empirically. Using the labeling method, we provide the KITTI-6DoF dataset with ∼7.5K annotated frames. Extensive experiments on KITTI-6DoF and the popular LineMod datasets show a consistent performance gain with SMOPE-Net over existing pose estimation methods. Here are links to our proposed SMOPE-Net, KITTI-6DoF dataset, and LabelImg3D labeling tool.