背景: 仮想学習における学生の関与 (SE) は、学習目標の達成とプログラム中退のリスクに大きな影響を与える可能性があります。自動 SE 測定用の人工知能 (AI) モデルを開発するには、注釈付きのデータセットが必要です。ただし、既存の SE データセットは、教育心理学における SE の定義とほとんど一致しない、一貫性のない定義と注釈プロトコルに悩まされています。この問題は、一般化可能な AI モデルを開発する際に誤解を招く可能性があり、異なるデータセットで開発されたこれらのモデルのパフォーマンスを比較するのが難しくなります。この重要なレビューの目的は、既存の SE データセットを調査し、異なるエンゲージメント定義と注釈プロトコルの点で矛盾を強調することでした。方法: 新しい SE データセットを紹介する出版物を求めて、いくつかの学術データベースを検索しました。オンラインまたはオフラインのコンピューターベースの仮想学習セッションでの学生のシングルまたはマルチモーダルデータを含むデータセットが含まれていました。既存のデータセットの SE の定義と注釈は、ソース、データ モダリティ、タイミング、時間分解能、抽象化のレベル、組み合わせ、定量化というエンゲージメント アノテーションの定義された 7 つの次元に基づいて分析されました。結果: 30 の SE 測定データセットが選択基準を満たしました。レビューされた SE データセットは、非常に多様で一貫性のない定義と注釈プロトコルを使用していました。予想外に、レビューされたデータセットのうち、SEの定義に既存の心理測定的に検証されたスケールを使用したものはほとんどありませんでした.考察: SE の定義と注釈の一貫性のなさは、自動 SE 測定のための比較可能な AI モデルの開発に関する研究にとって問題です。仮想学習で使用される可能性のある、仮想学習以外の設定における既存の SE 定義とプロトコルの一部が紹介されています。
Background: Student engagement (SE) in virtual learning can have a major impact on meeting learning objectives and program dropout risks. Developing Artificial Intelligence (AI) models for automatic SE measurement requires annotated datasets. However, existing SE datasets suffer from inconsistent definitions and annotation protocols mostly unaligned with the definition of SE in educational psychology. This issue could be misleading in developing generalizable AI models and make it hard to compare the performance of these models developed on different datasets. The objective of this critical review was to explore the existing SE datasets and highlight inconsistencies in terms of differing engagement definitions and annotation protocols. Methods: Several academic databases were searched for publications introducing new SE datasets. The datasets containing students' single- or multi-modal data in online or offline computer-based virtual learning sessions were included. The definition and annotation of SE in the existing datasets were analyzed based on our defined seven dimensions of engagement annotation: sources, data modalities, timing, temporal resolution, level of abstraction, combination, and quantification. Results: Thirty SE measurement datasets met the inclusion criteria. The reviewed SE datasets used very diverse and inconsistent definitions and annotation protocols. Unexpectedly, very few of the reviewed datasets used existing psychometrically validated scales in their definition of SE. Discussion: The inconsistent definition and annotation of SE are problematic for research on developing comparable AI models for automatic SE measurement. Some of the existing SE definitions and protocols in settings other than virtual learning that have the potential to be used in virtual learning are introduced.