arXiv reaDer
WS-SfMLearner: 未知のカメラ パラメーターを使用した手術ビデオにおける自己教師付き単眼深度およびエゴモーション推定
WS-SfMLearner: Self-supervised Monocular Depth and Ego-motion Estimation on Surgical Videos with Unknown Camera Parameters
手術ビデオにおける深さの推定は、多くの画像誘導手術手順において重要な役割を果たします。ただし、手術シーンの明るさとノイズが一貫していないこともあり、手術ビデオで深度マップのグラウンド トゥルース データセットを作成するのは難しく、時間がかかります。したがって、正確かつ堅牢な自己監視型深度およびカメラのエゴモーション推定システムの構築が、コンピューター ビジョン コミュニティからの注目を集めています。いくつかの自己監視方法では、グラウンド トゥルース深度マップとポーズの必要性が軽減されますが、依然として既知のカメラ固有パラメータが必要であり、これらのパラメータは欠落しているか記録されていないことがよくあります。さらに、既存の作品におけるカメラ固有の予測方法は、データセットの品質に大きく依存します。この研究では、正確な深度マップとカメラのポーズだけでなく、カメラの固有パラメーターも予測できる、自己教師ありの深度およびエゴモーション推定システムを構築することを目的としました。カメラパラメータ予測のためにシステムに補助的な監視を与えるために、コストボリュームベースの監視方法を提案しました。実験結果は、提案手法によりカメラパラメータの推定、エゴモーション、奥行き推定の精度が向上することを示した。
Depth estimation in surgical video plays a crucial role in many image-guided surgery procedures. However, it is difficult and time consuming to create depth map ground truth datasets in surgical videos due in part to inconsistent brightness and noise in the surgical scene. Therefore, building an accurate and robust self-supervised depth and camera ego-motion estimation system is gaining more attention from the computer vision community. Although several self-supervision methods alleviate the need for ground truth depth maps and poses, they still need known camera intrinsic parameters, which are often missing or not recorded. Moreover, the camera intrinsic prediction methods in existing works depend heavily on the quality of datasets. In this work, we aimed to build a self-supervised depth and ego-motion estimation system which can predict not only accurate depth maps and camera pose, but also camera intrinsic parameters. We proposed a cost-volume-based supervision manner to give the system auxiliary supervision for camera parameters prediction. The experimental results showed that the proposed method improved the accuracy of estimated camera parameters, ego-motion, and depth estimation.
updated: Tue Feb 06 2024 04:31:11 GMT+0000 (UTC)
published: Tue Aug 22 2023 20:35:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト