クロススペクトル深度推定は、デュアルスペクトル画像のペアを使用して、すべての照明条件で深度マップを提供することを目的としています。車両に異なるモダリティの2台のカメラが装備されている場合、自動運転車のアプリケーションに役立ちます。ただし、異なるモダリティのカメラでキャプチャされた画像は、測光的にかなり異なる場合があります。したがって、クロススペクトル深度の推定は非常に難しい問題です。さらに、大規模なオープンソースデータセットの不足も、この分野でのさらなる研究を遅らせています。この論文では、可視光カメラとサーマルのもの。まず、RGB画像ペアを使用したベース深度推定ネットワークを採用します。次に、訓練された深度推定ネットワークに適合するように、特徴レベルでTIR-VISドメインからVISドメインに特徴を転送するためのマルチスケール特徴転送ネットワークを提案します。最後に、デュアルスペクトル画像ペアの深度結果を改善するために、クロススペクトル深度サイクルの一貫性を提案します。一方、さまざまなシーンでキャプチャされた可視光と遠赤外線のステレオ画像を使用した大規模なデュアルスペクトル深度推定データセットを社会にリリースします。実験結果は、我々の方法が既存の方法と比較してより良い性能を達成することを示しています。私たちのデータセットはhttps://github.com/whitecrow1027/VIS-TIR-Datasetsで入手できます。
Cross-spectrum depth estimation aims to provide a depth map in all illumination conditions with a pair of dual-spectrum images. It is valuable for autonomous vehicle applications when the vehicle is equipped with two cameras of different modalities. However, images captured by different-modality cameras can be photometrically quite different. Therefore, cross-spectrum depth estimation is a very challenging problem. Moreover, the shortage of large-scale open-source datasets also retards further research in this field. In this paper, we propose an unsupervised visible-light image guided cross-spectrum (i.e., thermal and visible-light, TIR-VIS in short) depth estimation framework given a pair of RGB and thermal images captured from a visible-light camera and a thermal one. We first adopt a base depth estimation network using RGB-image pairs. Then we propose a multi-scale feature transfer network to transfer features from the TIR-VIS domain to the VIS domain at the feature level to fit the trained depth estimation network. At last, we propose a cross-spectrum depth cycle consistency to improve the depth result of dual-spectrum image pairs. Meanwhile, we release a large dual-spectrum depth estimation dataset with visible-light and far-infrared stereo images captured in different scenes to the society. The experiment result shows that our method achieves better performance than the compared existing methods. Our datasets is available at https://github.com/whitecrow1027/VIS-TIR-Datasets.