シーンの動き、ジオメトリ、およびパノプティック セグメンテーション情報のより包括的なモデリングを実現するための新しいパノプティック ビジュアル オドメトリー フレームワークである PVO を紹介します。当社の PVO は、ビジュアル オドメトリ (VO) とビデオ パノプティック セグメンテーション (VPS) を統合ビューでモデル化し、2 つのタスクを相互に有益なものにします。具体的には、画像のパノプティック セグメンテーションのガイダンスを使用して、パノプティック更新モジュールを VO モジュールに導入します。この Panoptic-Enhanced VO Module は、panoptic-aware dynamic mask を使用して、カメラ ポーズ推定における動的オブジェクトの影響を軽減できます。一方、VO-Enhanced VPS モジュールは、カメラ ポーズ、深度、オプティカル フローなどの幾何学的情報を使用して、現在のフレームのパノプティック セグメンテーション結果を隣接するフレームにオンザフライで融合することにより、セグメンテーションの精度も向上させます。 VO モジュール。これらの 2 つのモジュールは、反復的な最適化を繰り返すことで相互に貢献します。大規模な実験により、ビジュアル オドメトリーとビデオ パノプティック セグメンテーション タスクの両方で、PVO が最先端の方法よりも優れていることが実証されています。
We present PVO, a novel panoptic visual odometry framework to achieve more comprehensive modeling of the scene motion, geometry, and panoptic segmentation information. Our PVO models visual odometry (VO) and video panoptic segmentation (VPS) in a unified view, which makes the two tasks mutually beneficial. Specifically, we introduce a panoptic update module into the VO Module with the guidance of image panoptic segmentation. This Panoptic-Enhanced VO Module can alleviate the impact of dynamic objects in the camera pose estimation with a panoptic-aware dynamic mask. On the other hand, the VO-Enhanced VPS Module also improves the segmentation accuracy by fusing the panoptic segmentation result of the current frame on the fly to the adjacent frames, using geometric information such as camera pose, depth, and optical flow obtained from the VO Module. These two modules contribute to each other through recurrent iterative optimization. Extensive experiments demonstrate that PVO outperforms state-of-the-art methods in both visual odometry and video panoptic segmentation tasks.