赤外線カメラは、夜間のシーン、トンネル、災害シナリオなどの過酷な光の条件下で、熱放射画像を堅牢にキャプチャできます。ただし、この利点にもかかわらず、サーマルカメラの深度またはエゴモーション推定の研究はこれまで積極的に検討されていません。本論文では、熱画像から深度と自我運動を推定するための自己教師あり学習法を提案した。提案された方法は、温度と測光の一貫性の損失からなるマルチスペクトルの一貫性を利用します。温度一貫性の損失は、クリップされて色付けされた熱画像を再構成することにより、基本的な自己監視信号を提供します。さらに、推定深度マップと相対ポーズの座標系を赤外線カメラから可視カメラに変換できる微分可能なフォワードワーピングモジュールを設計します。提案されたモジュールに基づいて、測光の一貫性の損失は、ネットワークに補完的な自己監視を提供することができます。提案された方法で訓練されたネットワークは、低照度およびゼロ光の条件下でさえ、単眼熱ビデオから深度とポーズをロバストに推定します。私たちの知る限りでは、これは、自己監視方式で単眼熱ビデオから深度と自我運動の両方を同時に推定する最初の作業です。
A thermal camera can robustly capture thermal radiation images under harsh light conditions such as night scenes, tunnels, and disaster scenarios. However, despite this advantage, neither depth nor ego-motion estimation research for the thermal camera have not been actively explored so far. In this paper, we propose a self-supervised learning method for depth and ego-motion estimation from thermal images. The proposed method exploits multi-spectral consistency that consists of temperature and photometric consistency loss. The temperature consistency loss provides a fundamental self-supervisory signal by reconstructing clipped and colorized thermal images. Additionally, we design a differentiable forward warping module that can transform the coordinate system of the estimated depth map and relative pose from thermal camera to visible camera. Based on the proposed module, the photometric consistency loss can provide complementary self-supervision to networks. Networks trained with the proposed method robustly estimate the depth and pose from monocular thermal video under low-light and even zero-light conditions. To the best of our knowledge, this is the first work to simultaneously estimate both depth and ego-motion from monocular thermal video in a self-supervised manner.