arXiv reaDer
フェイスマスクの存在下でのリモートパルス推定
Remote Pulse Estimation in the Presence of Face Masks
リモートフォトプレチスモグラフィー(rPPG)は、カメラから血液量の変化を監視するための既知の技術ファミリーです。これは、消費者向けの可視光カメラからの顔のビデオを分析するために使用される場合、広範囲にわたる非接触型ヘルスモニタリングに特に役立つ可能性があります。 COVID-19のパンデミックにより、ウイルスの感染を防ぐために保護用フェイスマスクが広く使用されています。顔が保護マスクによって部分的に閉塞されている場合、血液量推定の平均絶対誤差がほぼ2倍になるため、フェイスマスクからの閉塞が顔のビデオベースのrPPGに影響を与えることがわかりました。私たちの知る限り、この論文は、血液量パルス推定の精度に対するフェイスマスクの影響を分析した最初のものであり、いくつかの新しい要素を提供します:(a)86人のマスクされていない被験者と61人のマスクされた被験者から取得された2つの公開されているパルス推定データセット(b )完全な(マスクされていない)顔と合成的に生成されたマスクのビデオでトレーニングされた手作りのアルゴリズムと3D畳み込みニューラルネットワークの評価、および(c)データ拡張方法(顔のビデオに合成マスクを追加するジェネレーター)。私たちの調査結果は、フェイスマスクがフェイスビデオ分析の精度をどのように低下させるかを特定するのに役立ち、フェイスマスクが存在する場合のより堅牢なパルス推定へのパスについて説明します。提案されたすべての方法のデータセットとソースコードは、このペーパーと一緒に入手できます。
Remote photoplethysmography (rPPG) is a known family of techniques for monitoring blood volume changes from a camera. It may be especially useful for widespread contact-less health monitoring when used to analyze face video from consumer-grade visible-light cameras. The COVID-19 pandemic has caused the widespread use of protective face masks to prevent virus transmission. We found that occlusions from face masks affect face video-based rPPG as the mean absolute error of blood volume estimation is nearly doubled when the face is partially occluded by protective masks. To our knowledge, this paper is the first to analyse the impact of face masks on the accuracy of blood volume pulse estimation and offers several novel elements: (a) two publicly available pulse estimation datasets acquired from 86 unmasked and 61 masked subjects, (b) evaluations of handcrafted algorithms and a 3D convolutional neural network trained on videos of full (unmasked) faces and synthetically generated masks, and (c) data augmentation method (a generator adding a synthetic mask to a face video). Our findings help identify how face masks degrade accuracy of face video analysis, and we discuss paths toward more robust pulse estimation in their presence. The datasets and source codes of all proposed methods are available along with this paper.
updated: Mon Jan 11 2021 18:43:14 GMT+0000 (UTC)
published: Mon Jan 11 2021 18:43:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト