近年、可視スペクトルの顔認証システムは、経験豊富な法医学検査官のパフォーマンスと一致することが示されています。ただし、このようなシステムは、暗い場所や夜間の状況では効果がありません。体の熱放出をキャプチャする熱顔画像は、可視スペクトルを効果的に増強し、照明が制限されているシーンで識別可能な顔の特徴をキャプチャします。コストが増加し、熱スペクトルと可視スペクトルの多様なデータセットを取得するのが難しいため、低照度認識用のアルゴリズムや大規模なベンチマークは多くありません。このホワイトペーパーでは、ARL-VTFとTUFTSの両方のマルチスペクトル顔データセットで最先端のパフォーマンスを実現するアルゴリズムを紹介します。重要なのは、マルチスペクトルの顔の合成と検証のために、顔の位置合わせ、ピクセルレベルの対応、およびラベルスムージングを使用したID分類の影響を調査することです。提案された方法が広く適用可能で、堅牢で、非常に効果的であることを示します。さらに、提案された方法は、プロファイルから正面への検証において、顔の正面化方法よりも大幅に優れていることを示します。最後に、MILAB-VTF(B)を紹介します。これは、熱ビデオと可視ビデオのペアで構成される、やりがいのあるマルチスペクトル顔データセットです。私たちの知る限りでは、400人の被験者からの顔データを使用して、このデータセットは、公開されている屋内および長距離の屋外の熱可視顔画像の最も広範なコレクションを表しています。最後に、エンドツーエンドの熱から可視への顔検証システムがMILAB-VTF(B)データセットで強力なパフォーマンスを提供することを示します。
In recent years, visible-spectrum face verification systems have been shown to match the performance of experienced forensic examiners. However, such systems are ineffective in low-light and nighttime conditions. Thermal face imagery, which captures body heat emissions, effectively augments the visible spectrum, capturing discriminative facial features in scenes with limited illumination. Due to the increased cost and difficulty of obtaining diverse, paired thermal and visible spectrum datasets, not many algorithms and large-scale benchmarks for low-light recognition are available. This paper presents an algorithm that achieves state-of-the-art performance on both the ARL-VTF and TUFTS multi-spectral face datasets. Importantly, we study the impact of face alignment, pixel-level correspondence, and identity classification with label smoothing for multi-spectral face synthesis and verification. We show that our proposed method is widely applicable, robust, and highly effective. In addition, we show that the proposed method significantly outperforms face frontalization methods on profile-to-frontal verification. Finally, we present MILAB-VTF(B), a challenging multi-spectral face dataset that is composed of paired thermal and visible videos. To the best of our knowledge, with face data from 400 subjects, this dataset represents the most extensive collection of publicly available indoor and long-range outdoor thermal-visible face imagery. Lastly, we show that our end-to-end thermal-to-visible face verification system provides strong performance on the MILAB-VTF(B) dataset.