顔のなりすまし防止(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を果たします。成熟したカメラセンサーの恩恵を受けて、シングルモーダル(RGB)およびマルチモーダル(RGB +深度など)FASは、センサー/モダリティのさまざまな構成でさまざまなシナリオに適用されています。既存のシングルモーダルおよびマルチモーダルFASメソッドは、通常、考えられるモダリティシナリオごとにモデルを個別にトレーニングおよび展開します。これは、冗長で非効率的である可能性があります。統合モデルをトレーニングし、さまざまなモダリティシナリオで柔軟に展開できますか?このホワイトペーパーでは、「すべての人に1つトレーニングする」という原則を使用して、最初のフレキシブルモーダルFASベンチマークを確立します。具体的には、トレーニング済みのマルチモーダル(RGB +深度+ IR)FASモデルを使用して、データセット内テストとデータセット間テストの両方が、4つのフレキシブルモーダルサブプロトコル(RGB、RGB +深度、RGB + IR、およびRGB)で実行されます。 +深さ+ IR)。また、柔軟なモーダルFASの一般的なディープモデルと機能融合戦略についても調査します。この新しいベンチマークが、マルチモーダルFASの将来の研究を促進することを願っています。プロトコルとコードはhttps://github.com/ZitongYu/Flex-Modal-FASで入手できます。
Face anti-spoofing (FAS) plays a vital role in securing face recognition systems from presentation attacks. Benefitted from the maturing camera sensors, single-modal (RGB) and multi-modal (e.g., RGB+Depth) FAS has been applied in various scenarios with different configurations of sensors/modalities. Existing single- and multi-modal FAS methods usually separately train and deploy models for each possible modality scenario, which might be redundant and inefficient. Can we train a unified model, and flexibly deploy it under various modality scenarios? In this paper, we establish the first flexible-modal FAS benchmark with the principle `train one for all'. To be specific, with trained multi-modal (RGB+Depth+IR) FAS models, both intra- and cross-dataset testings are conducted on four flexible-modal sub-protocols (RGB, RGB+Depth, RGB+IR, and RGB+Depth+IR). We also investigate prevalent deep models and feature fusion strategies for flexible-modal FAS. We hope this new benchmark will facilitate the future research of the multi-modal FAS. The protocols and codes are available at https://github.com/ZitongYu/Flex-Modal-FAS.