arXiv reaDer
Face2PPG: 顔からの血液量パルス抽出のための教師なしパイプライン
Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces
フォトプレチスモグラフィ (PPG) 信号は、医療、健康、スポーツなど、多くの分野で重要な技術となっています。私たちの仕事は、顔からリモート PPG 信号 (rPPG) を堅牢かつ確実に、構成可能に抽出する一連のパイプラインを提案しています。教師なし rPPG 方法論の重要なステップで可能な選択肢を特定し、評価します。 6 つの異なるデータセットで最先端の処理パイプラインを評価し、再現可能で公正な比較を保証する方法論に重要な修正を組み込みます。さらに、3 つの新しいアイデアを提案することで、パイプラインを拡張します。 1) リジッド メッシュの正規化に基づいて、検出された顔を安定させる新しい方法。 2) 最適な生信号を提供する顔のさまざまな領域を動的に選択する新しい方法、および 3) QR 分解に基づく Orthogonal Matrix Image Transformation (OMIT) と呼ばれる新しい RGB から rPPG への変換方法で、圧縮に対するロバスト性が向上します。アーティファクト。 3 つの変更すべてが、顔からの rPPG 信号の取得に顕著な改善をもたらし、教師なしの非学習ベースの方法論と比較して最先端の結果を取得し、一部のデータベースでは、教師ありの学習ベースの方法に非常に近いことを示します。 .提案された各アイデアの貢献度を定量化するために、比較研究を行います。さらに、将来の実装に役立つ一連の観察結果を示します。
Photoplethysmography (PPG) signals have become a key technology in many fields, such as medicine, well-being, or sports. Our work proposes a set of pipelines to extract remote PPG signals (rPPG) from the face robustly, reliably, and configurable. We identify and evaluate the possible choices in the critical steps of unsupervised rPPG methodologies. We assess a state-of-the-art processing pipeline in six different datasets, incorporating important corrections in the methodology that ensure reproducible and fair comparisons. In addition, we extend the pipeline by proposing three novel ideas; 1) a new method to stabilize the detected face based on a rigid mesh normalization; 2) a new method to dynamically select the different regions in the face that provide the best raw signals, and 3) a new RGB to rPPG transformation method, called Orthogonal Matrix Image Transformation (OMIT) based on QR decomposition, that increases robustness against compression artifacts. We show that all three changes introduce noticeable improvements in retrieving rPPG signals from faces, obtaining state-of-the-art results compared with unsupervised, non-learning-based methodologies and, in some databases, very close to supervised, learning-based methods. We perform a comparative study to quantify the contribution of each proposed idea. In addition, we depict a series of observations that could help in future implementations.
updated: Thu May 04 2023 18:25:35 GMT+0000 (UTC)
published: Tue Feb 08 2022 19:06:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト