カメラベースの生理学的モニタリング、特にリモート フォトプレチスモグラフィ (rPPG) は、健康診断のための有望なツールであり、最先端の脈拍推定器は、ベンチマーク データセットで印象的なパフォーマンスを示しています。最新のソリューションの評価は不完全である可能性があると主張しています。これは、生きている人がいない、または深刻なノイズがある場合のビデオの失敗例を明らかにするためです。ライブサンプルのみでトレーニングされた時空間ディープラーニングモデルは、異常でノイズの多いビデオで本物の形のパルスを「幻覚」させ、rPPGモデルが医療関係者によって使用されると悪影響を与える可能性があることを示しています. (a) 予測された波形の上に構築された異常検出モデル。オープン セット (未知の異常な予測) とクローズド セット (トレーニング時に既知の異常な予測) の設定でトレーニングされたモデルを比較します。 (b) 異常なビデオからの周期的な信号を予測するためにモデルにペナルティを課す、異常を認識するトレーニング体制。 8 つの研究データセット (rPPG 固有: DDPM、CDDPM、PURE、UBFC、ARPM、ディープ フェイク: DFDC、顔提示攻撃検出: HKBU-MARs、rPPG 外れ値: KITTI) を使用した広範な実験により、ディープ ラーニング モデルの異常検出の精度が向上することが示されています。定期的にトレーニングされたモデル (73.7%) および手作りの rPPG メソッド (52-62%) と比較して、提案されたトレーニング (75.8%) を組み込んでいます。
Camera-based physiological monitoring, especially remote photoplethysmography (rPPG), is a promising tool for health diagnostics, and state-of-the-art pulse estimators have shown impressive performance on benchmark datasets. We argue that evaluations of modern solutions may be incomplete, as we uncover failure cases for videos without a live person, or in the presence of severe noise. We demonstrate that spatiotemporal deep learning models trained only with live samples "hallucinate" a genuine-shaped pulse on anomalous and noisy videos, which may have negative consequences when rPPG models are used by medical personnel. To address this, we offer: (a) An anomaly detection model, built on top of the predicted waveforms. We compare models trained in open-set (unknown abnormal predictions) and closed-set (abnormal predictions known when training) settings; (b) An anomaly-aware training regime that penalizes the model for predicting periodic signals from anomalous videos. Extensive experimentation with eight research datasets (rPPG-specific: DDPM, CDDPM, PURE, UBFC, ARPM; deep fakes: DFDC; face presentation attack detection: HKBU-MARs; rPPG outlier: KITTI) show better accuracy of anomaly detection for deep learning models incorporating the proposed training (75.8%), compared to models trained regularly (73.7%) and to hand-crafted rPPG methods (52-62%).