arXiv reaDer
BigSmall: 異なる空間的および時間的生理学的測定のための効率的なマルチタスク学習
BigSmall: Efficient Multi-Task Learning for Disparate Spatial and Temporal Physiological Measurements
人間の視覚の理解は、歴史的にコンピューター ビジョン アーキテクチャの設計に影響を与えてきました。例として、知覚は空間的および時間的に異なるスケールで発生します。これは、さまざまなスケールで特定の機能に注意を払うことで、顕著な視覚情報の抽出がより効果的になる可能性があることを示唆しています。生理学的プロセスによる身体の視覚的変化も、さまざまなスケールで発生し、モダリティ固有の特性があります。これに着想を得て、生理学的および行動測定のための効率的なアーキテクチャである BigSmall を紹介します。最初の共同カメラベースの顔の動き、心臓、および肺の測定モデルを提示します。精度と効率の両方の向上をもたらす時間シフト モジュールをラップするマルチブランチ ネットワークを提案します。低レベルの機能を融合するとパフォーマンスが最適化されませんが、高レベルの機能を融合すると効率が向上し、精度はほとんど低下しません。実験結果は、BigSmall が計算コストを大幅に削減することを示しています。さらに、既存のタスク固有のモデルと比較して、BigSmall は、複数の生理学的測定タスクで、統一されたモデルと同時に同等以上の結果を達成します。
Understanding of human visual perception has historically inspired the design of computer vision architectures. As an example, perception occurs at different scales both spatially and temporally, suggesting that the extraction of salient visual information may be made more effective by paying attention to specific features at varying scales. Visual changes in the body due to physiological processes also occur at different scales and with modality-specific characteristic properties. Inspired by this, we present BigSmall, an efficient architecture for physiological and behavioral measurement. We present the first joint camera-based facial action, cardiac, and pulmonary measurement model. We propose a multi-branch network with wrapping temporal shift modules that yields both accuracy and efficiency gains. We observe that fusing low-level features leads to suboptimal performance, but that fusing high level features enables efficiency gains with negligible loss in accuracy. Experimental results demonstrate that BigSmall significantly reduces the computational costs. Furthermore, compared to existing task-specific models, BigSmall achieves comparable or better results on multiple physiological measurement tasks simultaneously with a unified model.
updated: Fri Nov 17 2023 09:33:22 GMT+0000 (UTC)
published: Tue Mar 21 2023 03:41:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト