arXiv reaDer
グレー画像とスパース深度マップに基づく宇宙船の深度補完
Spacecraft depth completion based on the gray image and the sparse depth map
宇宙船の 3 次元 (3D) 構造を認識することは、多くの軌道上宇宙ミッションを成功させるための前提条件であり、多くの下流ビジョン アルゴリズムに重要な入力を提供できます。この論文では、光検出および測距センサー (LIDAR) と単眼カメラを使用して、宇宙船の 3D 構造をセンシングすることを提案します。この目的のために、Spacecraft Depth Completion Network (SDCNet) が提案され、グレイ画像とスパース深度マップに基づいて密な深度マップを復元します。具体的には、SDCNet はオブジェクト レベルの宇宙船深度完了タスクをフォアグラウンド セグメンテーション サブタスクとフォアグラウンド深度完了サブタスクに分解します。これは、最初に宇宙船領域をセグメント化し、次にセグメント化されたフォアグラウンド エリアで深度完了を実行します。このようにして、前景の宇宙船深度の完成に対する背景の干渉が効果的に回避される。さらに、異なる入力間の補完的な情報を集約するために、注意ベースの特徴融合モジュールも提案されています。これにより、チャネルに沿った異なる特徴間の相関と空間次元が順次推定されます。さらに、オブジェクト レベルの深度補完パフォーマンスを評価するための 4 つのメトリックも提案されています。これにより、宇宙船の深度補完結果の品質をより直感的に反映できます。最後に、宇宙船の深度補完アルゴリズムのトレーニングとテストのために、大規模な衛星深度補完データセットが構築されます。データセットの経験的実験は、提案された SDCNet の有効性を示しています。これは、0.25m の平均絶対誤差と 0.759m の平均絶対切り捨て誤差を達成し、最先端の方法を大幅に上回っています。深さの完成結果に基づいて宇宙船の姿勢推定実験も行われ、実験結果は、予測された密な深さマップが下流の視覚タスクのニーズを満たすことができることを示しています。
Perceiving the three-dimensional (3D) structure of the spacecraft is a prerequisite for successfully executing many on-orbit space missions, and it can provide critical input for many downstream vision algorithms. In this paper, we propose to sense the 3D structure of spacecraft using light detection and ranging sensor (LIDAR) and a monocular camera. To this end, Spacecraft Depth Completion Network (SDCNet) is proposed to recover the dense depth map based on gray image and sparse depth map. Specifically, SDCNet decomposes the object-level spacecraft depth completion task into foreground segmentation subtask and foreground depth completion subtask, which segments the spacecraft region first and then performs depth completion on the segmented foreground area. In this way, the background interference to foreground spacecraft depth completion is effectively avoided. Moreover, an attention-based feature fusion module is also proposed to aggregate the complementary information between different inputs, which deduces the correlation between different features along the channel and the spatial dimension sequentially. Besides, four metrics are also proposed to evaluate object-level depth completion performance, which can more intuitively reflect the quality of spacecraft depth completion results. Finally, a large-scale satellite depth completion dataset is constructed for training and testing spacecraft depth completion algorithms. Empirical experiments on the dataset demonstrate the effectiveness of the proposed SDCNet, which achieves 0.25m mean absolute error of interest and 0.759m mean absolute truncation error, surpassing state-of-the-art methods by a large margin. The spacecraft pose estimation experiment is also conducted based on the depth completion results, and the experimental results indicate that the predicted dense depth map could meet the needs of downstream vision tasks.
updated: Tue Aug 30 2022 07:22:48 GMT+0000 (UTC)
published: Tue Aug 30 2022 07:22:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト