この作品は、まばたき頻度に基づく遠隔注意レベル推定の実現可能性研究を提示します。まず、畳み込みニューラルネットワーク(CNN)に基づくまばたき検出システムを提案します。これは、関連する作業に関して非常に競争力があります。この検出器を使用して、まばたき率とオンラインセッション中にキャプチャされた学生の注意レベルとの関係を実験的に評価します。実験フレームワークは、38人の学生と複数の取得センサーからのデータ、特にi)来る時間信号を提供する脳波図(EEG)バンドで構成される、mEBALと呼ばれる瞬目検出と注意レベル推定のための公開マルチモーダルデータベースを使用して実行されます学生の認知情報から、およびii)学生の顔のジェスチャーをキャプチャするためのRGBおよびNIRカメラ。達成された結果は、まばたきの頻度と注意レベルの間に逆相関があることを示唆しています。この関係は、まばたき頻度の逆数として注意レベルを推定するために、ALEBkと呼ばれる提案された方法で使用されます。私たちの結果は、顔分析に基づくこの種の行動バイオメトリクスの他のアプリケーションの中でも、将来のeラーニングプラットフォームでの注意レベル推定のためにこのテクノロジーを導入するための新しい研究ラインを開きます。
This work presents a feasibility study of remote attention level estimation based on eye blink frequency. We first propose an eye blink detection system based on Convolutional Neural Networks (CNNs), very competitive with respect to related works. Using this detector, we experimentally evaluate the relationship between the eye blink rate and the attention level of students captured during online sessions. The experimental framework is carried out using a public multimodal database for eye blink detection and attention level estimation called mEBAL, which comprises data from 38 students and multiples acquisition sensors, in particular, i) an electroencephalogram (EEG) band which provides the time signals coming from the student's cognitive information, and ii) RGB and NIR cameras to capture the students face gestures. The results achieved suggest an inverse correlation between the eye blink frequency and the attention level. This relation is used in our proposed method called ALEBk for estimating the attention level as the inverse of the eye blink frequency. Our results open a new research line to introduce this technology for attention level estimation on future e-learning platforms, among other applications of this kind of behavioral biometrics based on face analysis.