この論文では、単一の画像から自律型無人潜水機(AUV)の6D相対ポーズを決定するためのリアルタイム深層学習アプローチを提案します。通信に制約のある水中環境に自分自身をローカライズする自律型ロボットのチームは、水中探査、マッピング、マルチロボットコンボイ、およびその他のマルチロボットタスクなどの多くのアプリケーションに不可欠です。水中で正確な6Dポーズでグラウンドトゥルース画像を収集することは非常に困難であるため、この作業では、トレーニングにUnreal GameEngineシミュレーションからレンダリングされた画像を利用します。画像から画像への変換ネットワークを使用して、レンダリングされた画像と実際の画像の間のギャップを埋め、トレーニング用の合成画像を生成します。提案手法は、AUVの3Dモデルの8つのコーナーを表す2D画像のキーポイントとして単一の画像からAUVの6Dポーズを予測し、RANSACベースのPnPを使用してカメラ座標の6Dポーズを決定します。さまざまなカメラを使用した実際の水中環境(プールと海)での実験結果は、最先端の方法に対する並進誤差と方向誤差の観点から、提案された手法の堅牢性と精度を示しています。コードは公開されています。
In this paper, we propose a real-time deep learning approach for determining the 6D relative pose of Autonomous Underwater Vehicles (AUV) from a single image. A team of autonomous robots localizing themselves in a communication-constrained underwater environment is essential for many applications such as underwater exploration, mapping, multi-robot convoying, and other multi-robot tasks. Due to the profound difficulty of collecting ground truth images with accurate 6D poses underwater, this work utilizes rendered images from the Unreal Game Engine simulation for training. An image-to-image translation network is employed to bridge the gap between the rendered and the real images producing synthetic images for training. The proposed method predicts the 6D pose of an AUV from a single image as 2D image keypoints representing 8 corners of the 3D model of the AUV, and then the 6D pose in the camera coordinates is determined using RANSAC-based PnP. Experimental results in real-world underwater environments (swimming pool and ocean) with different cameras demonstrate the robustness and accuracy of the proposed technique in terms of translation error and orientation error over the state-of-the-art methods. The code is publicly available.