熱画像は、キャプチャされるオブジェクトの熱プロファイルに基づいて、グレースケール画像または疑似カラー画像のいずれかとして取得できます。この作業では、熱光学融合ドメイン画像を作成するための最適なエンコーダデコーダがどのように見えるかを探ります。この質問に答えるために、さまざまなネットワークを持ついくつかの異なるエンコーダー-デコーダー構造からの結果を比較します。私たちの方法から得られたこの出力画像は、カラー化された画像で一緒に両方のドメインの情報を提供します。これをクロスドメインカラー画像と呼びます。また、解像度やサーマルイメージャーの製造方法を変更しても機能する、熱ペアと光学ペアの堅牢なレジストレーション方法を紹介します。最後に、この作業の一環として、2年間にわたって収集された、約1800枚の画像を含む登録済みの熱視覚画像ペアを含む独自の公開データセットを提示します。私たちの結果を以前の文献と比較し、私たちの結果がどのように異なるかを示し、この領域でさらに探求できるいくつかの将来の研究について議論します。
Thermal images can be obtained as either grayscale images or pseudo colored images based on the thermal profile of the object being captured. In this work, we explore what an optimal encoder decoder might look like for creating a thermal-optical fused domain image. We compare the results from several different encoder-decoder structures with different networks to answer this question. This output images obtained from our method provides information of both domains jointly in a colorized image. We call this a cross domain colorized image. We also present a robust registration method for thermal and optical pairs, which can work despite changes in resolution and the make of the thermal imager. Lastly, we present a unique public dataset with registered thermal-visual image pairs containing around 1800 images as a part of this work, collected over a period of 2 years. We compare our results with prior literature, show how our results are different and discuss on some future work that can be explored further in this domain.