RGB-D SLAM パイプライン用のセマンティックでオブジェクト中心のカメラ姿勢推定である ObjectMatch を紹介します。最新のカメラ ポーズ エスティメータは、フレーム間のオーバーラップ領域の直接的な対応に依存しています。ただし、オーバーラップがほとんどまたはまったくない状態でカメラ フレームを位置合わせすることはできません。この作業では、セマンティック オブジェクトの識別を介して取得された間接的な対応を活用することを提案します。たとえば、あるフレームではオブジェクトが正面から見られ、別のフレームでは背面から見られる場合、正規のオブジェクト対応によって追加のポーズ制約を提供できます。最初に、このような対応をピクセルごとのレベルで予測するニューラル ネットワークを提案します。次に、エネルギー定式化で、ガウス ニュートンの共同最適化で解決された最先端のキーポイント マッチングを組み合わせます。ペアごとの設定では、私たちの方法は、最先端の機能マッチングの登録再現率を全体で 77% から 87% に改善し、フレーム間のオーバーラップが 10% 以下のペアで 21% から 52% に改善します。 RGB-D シーケンスの登録において、私たちの方法は、挑戦的で低フレームレートのシナリオで最先端の SLAM ベースラインよりも優れており、複数のシーンで軌道誤差を 35% 以上削減できます。
We present ObjectMatch, a semantic and object-centric camera pose estimation for RGB-D SLAM pipelines. Modern camera pose estimators rely on direct correspondences of overlapping regions between frames; however, they cannot align camera frames with little or no overlap. In this work, we propose to leverage indirect correspondences obtained via semantic object identification. For instance, when an object is seen from the front in one frame and from the back in another frame, we can provide additional pose constraints through canonical object correspondences. We first propose a neural network to predict such correspondences on a per-pixel level, which we then combine in our energy formulation with state-of-the-art keypoint matching solved with a joint Gauss-Newton optimization. In a pairwise setting, our method improves registration recall of state-of-the-art feature matching from 77% to 87% overall and from 21% to 52% in pairs with 10% or less inter-frame overlap. In registering RGB-D sequences, our method outperforms cutting-edge SLAM baselines in challenging, low frame-rate scenarios, achieving more than 35% reduction in trajectory error in multiple scenes.