arXiv reaDer
MATT: e ラーニング プラットフォームのマルチモーダル注意レベル推定
MATT: Multimodal Attention Level Estimation for e-learning Platforms
この作品は、マルチモーダル顔分析に基づくリモート注意レベル推定のための新しいマルチモーダル システムを提示します。私たちのマルチモーダル アプローチでは、顔のジェスチャー (まばたきの頻度、顔のアクション ユニットなど) やユーザーのアクション (頭のポーズ、カメラまでの距離など) などの認知負荷のモデル化に関連する行動と生理学的プロセスから取得したさまざまなパラメーターと信号を使用します。 )。マルチモーダル システムは、畳み込みニューラル ネットワーク (CNN) に基づく次のモジュールを使用します: まばたきの検出、頭のポーズの推定、顔のランドマークの検出、顔の表情の特徴最初に、オンライン e ラーニング セッション中にキャプチャされた学生の注意レベルを推定するタスクで、提案されたモジュールを個別に評価します。そのために、各モジュールのサポート ベクター マシン (SVM) に基づいてバイナリ分類子 (高または低注意) をトレーニングしました。第二に、マルチモーダルスコアレベルフュージョンが注意レベル推定をどの程度改善するかを調べます。 mEBAL データベースは実験的フレームワークで使用されます。これは、38 人のユーザーからのデータを含む e ラーニング環境で取得された注意レベル推定用のパブリック マルチモーダル データベースであり、さまざまな難易度のいくつかの e ラーニング タスクを実行します (学生の認知負荷の変化を作成します)。 )。
This work presents a new multimodal system for remote attention level estimation based on multimodal face analysis. Our multimodal approach uses different parameters and signals obtained from the behavior and physiological processes that have been related to modeling cognitive load such as faces gestures (e.g., blink rate, facial actions units) and user actions (e.g., head pose, distance to the camera). The multimodal system uses the following modules based on Convolutional Neural Networks (CNNs): Eye blink detection, head pose estimation, facial landmark detection, and facial expression features. First, we individually evaluate the proposed modules in the task of estimating the student's attention level captured during online e-learning sessions. For that we trained binary classifiers (high or low attention) based on Support Vector Machines (SVM) for each module. Secondly, we find out to what extent multimodal score level fusion improves the attention level estimation. The mEBAL database is used in the experimental framework, a public multi-modal database for attention level estimation obtained in an e-learning environment that contains data from 38 users while conducting several e-learning tasks of variable difficulty (creating changes in student cognitive loads).
updated: Sun Jan 22 2023 18:18:20 GMT+0000 (UTC)
published: Sun Jan 22 2023 18:18:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト