目の領域のダイナミクスを非侵入型でリアルタイムに分析することで、人間の視覚的注意の配分を監視し、現実世界のタスク実行中の精神状態を推定できるようになり、人間とコンピュータの幅広い相互作用に恩恵をもたらす可能性があります。 (HCI) アプリケーション。市販の視線追跡デバイスが頻繁に使用されていますが、これらのデバイスのカスタマイズが難しいため、より効率的な目の力学のエンドツーエンドモデルの探索に不必要な制約が課せられています。この研究では、共同学習フレームワークで正確なキーポイント検出と時空間追跡を実現する、認知負荷と眼領域分析の統合モデルである CLERA を提案します。私たちの方法は、認知負荷の推定、目のランドマークの検出、瞬きの推定などのタスクにおいて、大幅な効率性を示し、以前の研究よりも優れたパフォーマンスを発揮します。また、瞳孔、開眼度、ランドマークの注釈が付けられた 30,000 人の顔の大規模データセットも紹介します。これは、人間の要因と目関連の分析に関する将来の HCI 研究をサポートすることを目的としています。
Non-intrusive, real-time analysis of the dynamics of the eye region allows us to monitor humans' visual attention allocation and estimate their mental state during the performance of real-world tasks, which can potentially benefit a wide range of human-computer interaction (HCI) applications. While commercial eye-tracking devices have been frequently employed, the difficulty of customizing these devices places unnecessary constraints on the exploration of more efficient, end-to-end models of eye dynamics. In this work, we propose CLERA, a unified model for Cognitive Load and Eye Region Analysis, which achieves precise keypoint detection and spatiotemporal tracking in a joint-learning framework. Our method demonstrates significant efficiency and outperforms prior work on tasks including cognitive load estimation, eye landmark detection, and blink estimation. We also introduce a large-scale dataset of 30k human faces with joint pupil, eye-openness, and landmark annotation, which aims to support future HCI research on human factors and eye-related analysis.