arXiv reaDer
MobilePhys:パーソナライズされたモバイルカメラベースの非接触生理学的センシング
MobilePhys: Personalized Mobile Camera-Based Contactless Physiological Sensing
カメラベースの非接触フォトプレチスモグラフィーは、非接触生理学的測定のための一般的な技術のセットを指します。現在の最先端の神経モデルは、通常、ゴールドスタンダードの生理学的測定を伴うビデオを使用して、監視された方法でトレーニングされます。ただし、ドメイン外の例(つまり、トレーニングセットのビデオとは異なるビデオ)を一般化することがよくあります。モデルのパーソナライズは、モデルの一般化可能性を向上させるのに役立ちますが、多くのパーソナライズ手法では、依然としていくつかのゴールドスタンダードデータが必要です。この依存関係を緩和するために、この論文では、スマートフォンのフロントカメラとリアカメラの両方を活用してトレーニング用の高品質の自己監視ラベルを生成する、最初のモバイルパーソナライズされたリモート生理学的センシングシステムであるMobilePhysと呼ばれる新しいモバイルセンシングシステムを紹介しますパーソナライズされた非接触カメラベースのPPGモデル。 MobilePhysの堅牢性を評価するために、さまざまなモバイルデバイス、照明条件/強度、モーションタスク、および肌のタイプの下で一連のタスクを完了した39人の参加者を対象にユーザー調査を実施しました。私たちの結果は、MobilePhysが最先端のオンデバイス教師ありトレーニングと数ショットの適応方法を大幅に上回っていることを示しています。広範なユーザー調査を通じて、MobilePhysが複雑な実世界の設定でどのように機能するかをさらに調べます。提案されたデュアルカメラモバイルセンシングシステムから生成された、キャリブレーションまたはパーソナライズされたカメラベースの非接触PPGモデルは、スマートミラー、フィットネス、モバイルヘルスアプリケーションなどの多くの将来のアプリケーションへの扉を開くことを想定しています。
Camera-based contactless photoplethysmography refers to a set of popular techniques for contactless physiological measurement. The current state-of-the-art neural models are typically trained in a supervised manner using videos accompanied by gold standard physiological measurements. However, they often generalize poorly out-of-domain examples (i.e., videos that are unlike those in the training set). Personalizing models can help improve model generalizability, but many personalization techniques still require some gold standard data. To help alleviate this dependency, in this paper, we present a novel mobile sensing system called MobilePhys, the first mobile personalized remote physiological sensing system, that leverages both front and rear cameras on a smartphone to generate high-quality self-supervised labels for training personalized contactless camera-based PPG models. To evaluate the robustness of MobilePhys, we conducted a user study with 39 participants who completed a set of tasks under different mobile devices, lighting conditions/intensities, motion tasks, and skin types. Our results show that MobilePhys significantly outperforms the state-of-the-art on-device supervised training and few-shot adaptation methods. Through extensive user studies, we further examine how does MobilePhys perform in complex real-world settings. We envision that calibrated or personalized camera-based contactless PPG models generated from our proposed dual-camera mobile sensing system will open the door for numerous future applications such as smart mirrors, fitness and mobile health applications.
updated: Fri Apr 22 2022 17:38:04 GMT+0000 (UTC)
published: Tue Jan 11 2022 16:34:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト