自律システムは、オブジェクトレベルのタスク仕様を理解して安全に実行するために、周囲のセマンティクスとジオメトリを理解する必要があります。この論文では、オブジェクトのポーズと形状を最適化するための表現力豊かでコンパクトなモデルと、マルチビューRGB-Dカメラ観測からオブジェクトレベルのマップを推測するための関連する最適化アルゴリズムを提案します。モデルは、環境内のオブジェクトのID、位置、方向、および形状をキャプチャするため、表現力豊かです。暗黙的なオブジェクト形状の低次元の潜在的表現に依存しているためコンパクトであり、大規模なマルチカテゴリオブジェクトマップのオンボードストレージを可能にします。単一のオブジェクト表現形式に依存する他の作品とは異なり、私たちのアプローチには、粗いレベルのスケールと細かいレベルの形状の詳細の両方をキャプチャする2レベルのオブジェクトモデルがあります。私たちのアプローチは、大規模な実世界のScanNetデータセットで評価され、最先端の方法と比較されます。
Autonomous systems need to understand the semantics and geometry of their surroundings in order to comprehend and safely execute object-level task specifications. This paper proposes an expressive yet compact model for joint object pose and shape optimization, and an associated optimization algorithm to infer an object-level map from multi-view RGB-D camera observations. The model is expressive because it captures the identities, positions, orientations, and shapes of objects in the environment. It is compact because it relies on a low-dimensional latent representation of implicit object shape, allowing onboard storage of large multi-category object maps. Different from other works that rely on a single object representation format, our approach has a bi-level object model that captures both the coarse level scale as well as the fine level shape details. Our approach is evaluated on the large-scale real-world ScanNet dataset and compared against state-of-the-art methods.