arXiv reaDer
DeepTIO:幻覚を伴う深い熱慣性オドメトリ
DeepTIO: A Deep Thermal-Inertial Odometry with Visual Hallucination
 視覚走行距離計は、さまざまな環境で優れたパフォーマンスを示します。ただし、視覚的に拒否されたシナリオ(例:濃い煙や暗闇)では、ポーズの推定値が低下するか、失敗することさえあります。サーマルカメラは、環境の視認性が低い場合の認識と検査によく使用されます。ただし、オドメトリー推定での使用は、堅牢な視覚的特徴の欠如により妨げられています。部分的には、これはセンサーがシーンの外観やジオメトリではなく周囲温度プロファイルを測定した結果です。この問題を克服するために、視覚的な幻覚ネットワークを組み込んで熱ネットワークに補足情報を提供することにより、熱慣性走行距離計(DeepTIO)のディープニューラルネットワークモデルを提案します。幻覚ネットワークは、フーバー損失を使用して熱画像から偽の視覚的特徴を予測するように教えられています。また、選択的フュージョンを使用して、3つの異なるモダリティ、つまり熱、幻覚、慣性の機能の特徴を注意深く融合します。ハンドヘルドおよびモバイルロボットデータで、良性および煙が充満した環境で広範な実験が実行され、提案されたモデルの有効性が示されます。
Visual odometry shows excellent performance in a wide range of environments. However, in visually-denied scenarios (e.g. heavy smoke or darkness), pose estimates degrade or even fail. Thermal cameras are commonly used for perception and inspection when the environment has low visibility. However, their use in odometry estimation is hampered by the lack of robust visual features. In part, this is as a result of the sensor measuring the ambient temperature profile rather than scene appearance and geometry. To overcome this issue, we propose a Deep Neural Network model for thermal-inertial odometry (DeepTIO) by incorporating a visual hallucination network to provide the thermal network with complementary information. The hallucination network is taught to predict fake visual features from thermal images by using Huber loss. We also employ selective fusion to attentively fuse the features from three different modalities, i.e thermal, hallucination, and inertial features. Extensive experiments are performed in hand-held and mobile robot data in benign and smoke-filled environments, showing the efficacy of the proposed model.
updated: Sun Jan 19 2020 22:42:04 GMT+0000 (UTC)
published: Mon Sep 16 2019 14:19:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト