arXiv reaDer
劣化したビデオからの非接触心拍数測定
Non-Contact Heart Rate Measurement from Deteriorated Videos
リモート フォトプレチスモグラフィ (rPPG) は、顔のビデオを分析して人間の脈拍を推定するための最先端の非接触方法を提供します。その可能性にもかかわらず、rPPG メソッドは、サングラス、マスク、または個人が不注意に顔に触れるなどの不本意な顔の接触によって引き起こされるノイズ、オクルージョン、およびその他の障害物など、さまざまなアーティファクトの影響を受けやすい可能性があります。この研究では、画像処理変換を適用して意図的にビデオ品質を低下させ、これらの困難な条件を模倣し、その後、劣化したデータに対する非学習および学習ベースの両方の rPPG メソッドのパフォーマンスを評価します。私たちの結果は、これらのアーティファクトが存在すると精度が大幅に低下することを明らかにしており、心拍数推定の結果を改善するために、ノイズ除去や修復などの復元技術の適用を提案するよう促しました。これらの困難な条件とオクルージョン アーティファクトに対処することにより、私たちのアプローチは、rPPG メソッドをより堅牢にし、現実の状況に適応できるようにすることを目的としています。提案された方法の有効性を評価するために、幅広いシナリオと成果物タイプを網羅する、公開されている 3 つのデータセットに対して包括的な実験を行います。私たちの調査結果は、復元アルゴリズムとrPPG技術の最適な組み合わせを採用することにより、堅牢なrPPGシステムを構築できる可能性を強調しています。さらに、私たちの研究は、プライバシーを意識した rPPG 方法論の進歩に貢献し、それによって、現実的で多様な条件下での遠隔心拍数推定の分野におけるこの革新的な技術の全体的な有用性と影響を強化します。
Remote photoplethysmography (rPPG) offers a state-of-the-art, non-contact methodology for estimating human pulse by analyzing facial videos. Despite its potential, rPPG methods can be susceptible to various artifacts, such as noise, occlusions, and other obstructions caused by sunglasses, masks, or even involuntary facial contact, such as individuals inadvertently touching their faces. In this study, we apply image processing transformations to intentionally degrade video quality, mimicking these challenging conditions, and subsequently evaluate the performance of both non-learning and learning-based rPPG methods on the deteriorated data. Our results reveal a significant decrease in accuracy in the presence of these artifacts, prompting us to propose the application of restoration techniques, such as denoising and inpainting, to improve heart-rate estimation outcomes. By addressing these challenging conditions and occlusion artifacts, our approach aims to make rPPG methods more robust and adaptable to real-world situations. To assess the effectiveness of our proposed methods, we undertake comprehensive experiments on three publicly available datasets, encompassing a wide range of scenarios and artifact types. Our findings underscore the potential to construct a robust rPPG system by employing an optimal combination of restoration algorithms and rPPG techniques. Moreover, our study contributes to the advancement of privacy-conscious rPPG methodologies, thereby bolstering the overall utility and impact of this innovative technology in the field of remote heart-rate estimation under realistic and diverse conditions.
updated: Fri Apr 28 2023 11:58:36 GMT+0000 (UTC)
published: Fri Apr 28 2023 11:58:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト