教育および介入プログラムでは、プログラムを成功させるための主要な要因として、人の関与が確認されています。人の関与の自動測定は、インストラクターがプログラムの目的を達成し、プログラムの提供を個別化するための有用な情報を提供します。この論文では、仮想学習プログラムにおけるビデオベースのエンゲージメント測定のための新しいアプローチを提示します。感情の状態、連続するビデオフレームから抽出された価数と覚醒の連続値を、エンゲージメント測定のための新しい潜在的な感情特徴ベクトルと行動特徴とともに使用することを提案します。ディープラーニングベースの時間モデルと従来の機械学習ベースの非時間モデルは、それぞれフレームレベルとビデオレベルの機能でトレーニングおよび検証されます。従来の集中学習に加えて、分散型連合学習設定で提案された方法を実装し、エンゲージメント測定におけるモデルのパーソナライズの効果を研究します。オンライン学習プログラムの学生のビデオを含む、公開されている2つのビデオエンゲージメント測定データセットDAiSEEとEmotiWで、提案された方法のパフォーマンスを評価しました。私たちの実験は、63.3%の最先端のエンゲージメントレベル分類精度と、DAiSEEデータセットの離脱ビデオを正しく分類し、EmotiWデータセットの回帰平均二乗誤差0.0673を示しています。私たちのアブレーション研究は、エンゲージメント測定に感情状態を組み込むことの有効性を示しています。エンゲージメントの分野における心理学の概念に基づいた実験結果からの発見を解釈します。
In education and intervention programs, person's engagement has been identified as a major factor in successful program completion. Automatic measurement of person's engagement provides useful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep learning-based temporal, and traditional machine-learning-based non-temporal models are trained and validated on frame-level, and video-level features, respectively. In addition to the conventional centralized learning, we also implement the proposed method in a decentralized federated learning setting and study the effect of model personalization in engagement measurement. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 63.3% and correctly classifying disengagement videos in the DAiSEE dataset and a regression mean squared error of 0.0673 on the EmotiW dataset. Our ablation study shows the effectiveness of incorporating affect states in engagement measurement. We interpret the findings from the experimental results based on psychology concepts in the field of engagement.