arXiv reaDer
ReViSe:スマートフォンカメラを使用したリモートバイタルサイン測定
ReViSe: Remote Vital Signs Measurement Using Smartphone Camera
リモートフォトプレチスモグラフィー(rPPG)は、顔のビデオを使用したバイタルサインの推定を可能にするため、生体認証データを収集するための高速、効果的、安価で便利な方法です。リモート非接触医療サービスのプロビジョニングは、COVID-19パンデミックの際に切実に必要であることが証明されています。ユーザーのビデオからrPPG手法に基づいて、心拍数(HR)、心拍変動(HRV)、酸素飽和度(SpO2)、血圧(BP)などの人々のバイタルサインを測定するためのエンドツーエンドのフレームワークを提案します。スマートフォンのカメラで撮影した顔。ディープラーニングベースのニューラルネットワークモデルを使用して、顔のランドマークをリアルタイムで抽出します。関心領域(RoI)とも呼ばれる複数の顔パッチは、予測された顔のランドマークを使用して抽出されます。血液量パルス(BVP)信号と呼ばれる抽出された心臓信号のRoIからのノイズを低減するために、いくつかのフィルターが適用されます。 2つの公開rPPGデータセット、つまりTokyoTechrPPGとPulseRateDetection(PURE)データセットを使用して機械学習モデルをトレーニングおよび検証しました。これらのデータセットで、モデルは次の平均絶対誤差(MAE)を達成しました。それぞれ1分あたり(bpm)、b)HRVの場合、それぞれ18.55および25.03 ms、c)PUREデータセットのMAEが1.64のSpO2の場合。エンドツーエンドのrPPGフレームワークであるReViSeを実際の環境で検証し、それによってVideo-HRデータセットを作成しました。私たちのHR推定モデルは、このデータセットで2.49bpmのMAEを達成しました。顔のビデオを使用したBP測定用の公開されているrPPGデータセットが存在しなかったため、指先センサーからの信号を使用したデータセットを使用してモデルをトレーニングし、独自のビデオデータセットであるVideo-BPも作成しました。 Video-BPデータセットでは、BP推定モデルは収縮期血圧(SBP)で6.7 mmHgのMAEを達成し、拡張期血圧(DBP)で9.6mmHgのMAEを達成しました。
Remote Photoplethysmography (rPPG) is a fast, effective, inexpensive and convenient method for collecting biometric data as it enables vital signs estimation using face videos. Remote contactless medical service provisioning has proven to be a dire necessity during the COVID-19 pandemic. We propose an end-to-end framework to measure people's vital signs including Heart Rate (HR), Heart Rate Variability (HRV), Oxygen Saturation (SpO2) and Blood Pressure (BP) based on the rPPG methodology from the video of a user's face captured with a smartphone camera. We extract face landmarks with a deep learning-based neural network model in real-time. Multiple face patches also called Region-of-Interests (RoIs) are extracted by using the predicted face landmarks. Several filters are applied to reduce the noise from the RoIs in the extracted cardiac signals called Blood Volume Pulse (BVP) signal. We trained and validated machine learning models using two public rPPG datasets namely the TokyoTech rPPG and the Pulse Rate Detection (PURE) datasets, on which our models achieved the following Mean Absolute Errors (MAE): a) for HR, 1.73 and 3.95 Beats-Per-Minute (bpm) respectively, b) for HRV, 18.55 and 25.03 ms respectively, and c) for SpO2, a MAE of 1.64 on the PURE dataset. We validated our end-to-end rPPG framework, ReViSe, in real life environment, and thereby created the Video-HR dataset. Our HR estimation model achieved a MAE of 2.49 bpm on this dataset. Since no publicly available rPPG datasets existed for BP measurement with face videos, we used a dataset with signals from fingertip sensor to train our model and also created our own video dataset, Video-BP. On our Video-BP dataset, our BP estimation model achieved a MAE of 6.7 mmHg for Systolic Blood Pressure (SBP), and a MAE of 9.6 mmHg for Diastolic Blood Pressure (DBP).
updated: Mon Jun 13 2022 19:20:11 GMT+0000 (UTC)
published: Mon Jun 13 2022 19:20:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト