この論文では、オーディオ、ビジュアル、およびサーマルモダリティを使用したマルチモーダル人物検証へのアプローチを研究します。音声モダリティと視覚モダリティの組み合わせは、堅牢な人物検証に効果的であることがすでに示されています。この観点から、熱画像を補足することにより、モダリティの数をさらに増やすことの影響を調査します。特に、最先端の深層学習アーキテクチャを使用して、ユニモーダル、バイモーダル、およびトリモーダルの検証システムを実装し、クリーンでノイズの多い条件下でのパフォーマンスを比較しました。また、単純なスコア平均化とソフトアテンションメカニズムに基づく2つの一般的な融合アプローチを比較しました。 SpeakingFacesデータセットで実施された実験は、単峰性システムと二峰性システムの両方に対する三峰性検証システムの優位性を示しています。実験の再現性を実現し、マルチモーダルな人物検証の研究を容易にするために、コード、事前トレーニング済みモデル、および前処理済みデータセットをGitHubリポジトリで無料で利用できるようにします。
In this paper, we study an approach to multimodal person verification using audio, visual, and thermal modalities. The combination of audio and visual modalities has already been shown to be effective for robust person verification. From this perspective, we investigate the impact of further increasing the number of modalities by supplementing thermal images. In particular, we implemented unimodal, bimodal, and trimodal verification systems using the state-of-the-art deep learning architectures and compared their performance under clean and noisy conditions. We also compared two popular fusion approaches based on simple score averaging and soft attention mechanism. The experiment conducted on the SpeakingFaces dataset demonstrates the superiority of the trimodal verification system over both unimodal and bimodal systems. To enable the reproducibility of the experiment and facilitate research into multimodal person verification, we make our code, pretrained models and preprocessed dataset freely available in our GitHub repository.