既存の熱から可視への顔の検証アプローチは、熱と可視の顔の画像が同様の解像度であることを期待しています。人間はカメラから離れているため、これは実際の長距離監視システムでは起こりそうにありません。この問題に対処するために、低解像度の熱画像からの熱から可視への顔の検証のタスクを紹介します。さらに、マッチングのために高解像度の可視画像を合成するために、軸方向生成敵対的ネットワーク(Axial-GAN)を提案します。提案されたアプローチでは、長距離依存性をモデル化するための変圧器の最近の進歩を活用する軸方向注意層でGANフレームワークを強化します。 2つの異なる熱可視顔データセットを評価することにより、提案された方法の有効性を示します。関連する最先端の作品と比較すると、私たちの結果は、画質と顔認証パフォーマンスの両方で大幅な改善を示しており、はるかに効率的でもあります。
Existing thermal-to-visible face verification approaches expect the thermal and visible face images to be of similar resolution. This is unlikely in real-world long-range surveillance systems, since humans are distant from the cameras. To address this issue, we introduce the task of thermal-to-visible face verification from low-resolution thermal images. Furthermore, we propose Axial-Generative Adversarial Network (Axial-GAN) to synthesize high-resolution visible images for matching. In the proposed approach we augment the GAN framework with axial-attention layers which leverage the recent advances in transformers for modelling long-range dependencies. We demonstrate the effectiveness of the proposed method by evaluating on two different thermal-visible face datasets. When compared to related state-of-the-art works, our results show significant improvements in both image quality and face verification performance, and are also much more efficient.