シーンの動き、ジオメトリ、およびパノラマセグメンテーション情報のより包括的なモデリングを実現するために、PVOと呼ばれる新しいパノラマ視覚オドメトリフレームワークを紹介します。 PVOは、視覚オドメトリ(VO)とビデオパノプティコンセグメンテーション(VPS)を統合されたビューでモデル化し、2つのタスクが互いに容易になるようにします。具体的には、画像パノラマセグメンテーションを操作するVOモジュールにパノラマ更新モジュールを導入します。このPanoptic-EnhancedVOモジュールは、最適化されたカメラポーズの重みを調整することにより、カメラポーズ推定における動的オブジェクトの干渉を調整できます。一方、VO-Enhanced VPSモジュールは、カメラのポーズ、深度、VOから取得したオプティカルフローなどの幾何学的情報を使用して、現在のフレームのパノラマセグメンテーション結果を隣接するフレームにその場で融合することにより、セグメンテーションの精度を向上させます。モジュール。これらの2つのモジュールは、反復的な最適化を繰り返すことで相互に貢献します。広範な実験は、PVOが視覚オドメトリとビデオパノプティコンセグメンテーションタスクの両方で最先端の方法よりも優れていることを示しています。コードとデータは、プロジェクトのWebページ(tt url_colorhttps://zju3dv.github.io/pvo/)で入手できます。
We present a novel panoptic visual odometry framework, termed PVO, to achieve a more comprehensive modeling of the scene's motion, geometry, and panoptic segmentation information. PVO models visual odometry (VO) and video panoptic segmentation (VPS) in a unified view, enabling the two tasks to facilitate each other. Specifically, we introduce a panoptic update module into the VO module, which operates on the image panoptic segmentation. This Panoptic-Enhanced VO module can trim the interference of dynamic objects in the camera pose estimation by adjusting the weights of optimized camera poses. On the other hand, the VO-Enhanced VPS module improves the segmentation accuracy by fusing the panoptic segmentation result of the current frame on the fly to the adjacent frames, using geometric information such as camera pose, depth, and optical flow obtained from the VO module. These two modules contribute to each other through a recurrent iterative optimization. Extensive experiments demonstrate that PVO outperforms state-of-the-art methods in both visual odometry and video panoptic segmentation tasks. Code and data are available on the project webpage: tt url_colorhttps://zju3dv.github.io/pvo/.