arXiv reaDer
水中 VSLAM における特徴抽出のための知識の蒸留
Knowledge Distillation for Feature Extraction in Underwater VSLAM
近年、学習ベースの特徴検出とマッチングは、空中のケースで手動で設計された方法よりも優れています。ただし、注釈付きの水中データセットがないため、水中シナリオの機能を学習するのは困難です。この論文では、水中の特徴検出およびマッチング ネットワーク (UFEN) をトレーニングするためのクロス モーダル知識蒸留フレームワークを提案します。特に、空中 RGBD データを使用して、物理的な水中イメージング形成モデルに基づいて合成水中画像を生成し、これらを媒体として使用して、空中画像で事前トレーニングされた教師モデル SuperPoint から知識を抽出します。 UFEN を ORB-SLAM3 フレームワークに組み込み、追加のバイナリ化レイヤーを導入して ORB 機能を置き換えます。私たちの方法の有効性をテストするために、EASI (https://github.com/Jinghe-mel/UFEN-SLAM) という名前のグラウンドトゥルース測定値を含む新しい水中データセットを構築し、さまざまな濁度レベルで屋内水槽に記録しました。既存のデータセットと新しいデータセットの実験結果は、私たちの方法の有効性を示しています。
In recent years, learning-based feature detection and matching have outperformed manually-designed methods in in-air cases. However, it is challenging to learn the features in the underwater scenario due to the absence of annotated underwater datasets. This paper proposes a cross-modal knowledge distillation framework for training an underwater feature detection and matching network (UFEN). In particular, we use in-air RGBD data to generate synthetic underwater images based on a physical underwater imaging formation model and employ these as the medium to distil knowledge from a teacher model SuperPoint pretrained on in-air images. We embed UFEN into the ORB-SLAM3 framework to replace the ORB feature by introducing an additional binarization layer. To test the effectiveness of our method, we built a new underwater dataset with groundtruth measurements named EASI (https://github.com/Jinghe-mel/UFEN-SLAM), recorded in an indoor water tank for different turbidity levels. The experimental results on the existing dataset and our new dataset demonstrate the effectiveness of our method.
updated: Fri Mar 31 2023 11:33:21 GMT+0000 (UTC)
published: Fri Mar 31 2023 11:33:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト