ディープラーニングベースの深度およびエゴモーションネットワークのほとんどは、可視カメラ用に設計されています。ただし、可視カメラは外部光源の存在に大きく依存しています。そのため、夜間のシーンやトンネルなどの過酷な条件での使用は困難です。サーマルカメラは、外部光源に関係なく長波赤外線(LWIR)を検出するため、この問題を解決する1つのソリューションです。ただし、この利点にもかかわらず、赤外線カメラの深度と自我運動推定の両方の研究は、これまで積極的に検討されていません。本論文では、終日の深度と自我運動推定のための教師なし学習法を提案した。提案された方法は、マルチスペクトル整合性損失を利用して、熱画像から推定された深度とポーズで可視画像と熱画像を再構築することにより、ネットワークを補完的に監視します。提案された方法で訓練されたネットワークは、低照度およびゼロ光の条件下でさえ、単眼熱ビデオから深度およびポーズをロバストに推定します。私たちの知る限り、これは教師なしの方法で単眼熱ビデオから深度とエゴモーションの両方を同時に推定する最初の作業です。
Most of the deep-learning based depth and ego-motion networks have been designed for visible cameras. However, visible cameras heavily rely on the presence of an external light source. Therefore, it is challenging to use them under low-light conditions such as night scenes, tunnels, and other harsh conditions. A thermal camera is one solution to compensate for this problem because it detects Long Wave Infrared Radiation(LWIR) regardless of any external light sources. However, despite this advantage, both depth and ego-motion estimation research for the thermal camera are not actively explored until so far. In this paper, we propose an unsupervised learning method for the all-day depth and ego-motion estimation. The proposed method exploits multi-spectral consistency loss to gives complementary supervision for the networks by reconstructing visible and thermal images with the depth and pose estimated from thermal images. The networks trained with the proposed method robustly estimate the depth and pose from monocular thermal video under low-light and even zero-light conditions. To the best of our knowledge, this is the first work to simultaneously estimate both depth and ego-motion from the monocular thermal video in an unsupervised manner.