生理学的(例えば、心臓および肺の)バイタルサインの非侵襲的で低コストかつスケーラブルな測定のためのカメラおよび計算アルゴリズムの使用は非常に魅力的です。ただし、さまざまな環境、体の動き、照明条件、および生理学的状態を表す多様なデータは、手間がかかり、時間と費用がかかります。合成データは、機械学習のいくつかの分野で貴重なツールであることが証明されていますが、生理学的状態のカメラ測定には広く利用できません。合成データは、「完璧な」ラベル(たとえば、ノイズがなく、正確な同期がある)、他の方法では取得できない可能性のあるラベル(たとえば、正確なピクセルレベルのセグメンテーションマップ)を提供し、データセットの変動と多様性を高度に制御します。 。 SCAMPSは、心臓と呼吸の信号と顔の動きの強さを調整した2,800本のビデオ(168万フレーム)を含む合成データセットです。 RGBフレームは、セグメンテーションマップと一緒に提供されます。心拍間隔、心拍数の変動、脈拍の到着時間など、基礎となる波形に関する正確な記述統計を提供します。最後に、一般化可能性を説明するために、これらの合成データのベースライン結果トレーニングと実際のデータセットのテストを示します。
The use of cameras and computational algorithms for noninvasive, low-cost and scalable measurement of physiological (e.g., cardiac and pulmonary) vital signs is very attractive. However, diverse data representing a range of environments, body motions, illumination conditions and physiological states is laborious, time consuming and expensive to obtain. Synthetic data have proven a valuable tool in several areas of machine learning, yet are not widely available for camera measurement of physiological states. Synthetic data offer "perfect" labels (e.g., without noise and with precise synchronization), labels that may not be possible to obtain otherwise (e.g., precise pixel level segmentation maps) and provide a high degree of control over variation and diversity in the dataset. We present SCAMPS, a dataset of synthetics containing 2,800 videos (1.68M frames) with aligned cardiac and respiratory signals and facial action intensities. The RGB frames are provided alongside segmentation maps. We provide precise descriptive statistics about the underlying waveforms, including inter-beat interval, heart rate variability, and pulse arrival time. Finally, we present baseline results training on these synthetic data and testing on real-world datasets to illustrate generalizability.