環境と対話する自律型ロボットには、詳細なセマンティック シーン モデルが必要です。このために、ボリュメトリック セマンティック マップが頻繁に使用されます。オブジェクトレベルの情報をマップに含めることで、シーンの理解をさらに向上させることができます。この作業では、オブジェクト レベルの情報を含む分散スマート エッジ センサーのネットワークで構成されるマルチビュー 3D セマンティック マッピング システムを拡張し、オブジェクト レベルの入力を必要とするダウンストリーム タスクを有効にします。オブジェクトは、3D メッシュ モデルを介して、または詳細な 3D モデルが利用できない場合に任意のオブジェクト ジオメトリをモデル化できるオブジェクト中心のボリューム サブマップとしてマップに表示されます。 PnP を介してオブジェクトのポーズを推定し、観測された点群セグメントを使用して 3D オブジェクト モデルの ICP アライメントを介して改良するためのキーポイント ベースのアプローチを提案します。オブジェクト インスタンスは、時間の経過に伴う観測を統合し、一時的な閉塞に対して堅牢になるように追跡されます。私たちの方法は、数センチメートル以内のポーズ推定精度を示す公共の行動データセットで評価され、複数の椅子とテーブルがシーンを通じてオンラインでリアルタイムで追跡される挑戦的なラボ環境でセンサーネットワークを使用した実世界の実験で評価されます。高い閉塞下でも。
Autonomous robots that interact with their environment require a detailed semantic scene model. For this, volumetric semantic maps are frequently used. The scene understanding can further be improved by including object-level information in the map. In this work, we extend a multi-view 3D semantic mapping system consisting of a network of distributed smart edge sensors with object-level information, to enable downstream tasks that need object-level input. Objects are represented in the map via their 3D mesh model or as an object-centric volumetric sub-map that can model arbitrary object geometry when no detailed 3D model is available. We propose a keypoint-based approach to estimate object poses via PnP and refinement via ICP alignment of the 3D object model with the observed point cloud segments. Object instances are tracked to integrate observations over time and to be robust against temporary occlusions. Our method is evaluated on the public Behave dataset where it shows pose estimation accuracy within a few centimeters and in real-world experiments with the sensor network in a challenging lab environment where multiple chairs and a table are tracked through the scene online, in real time even under high occlusions.