共同学習は、共有された目標と協力を通じて学習を強化する教育的アプローチです。相互作用と規制は、共同学習の成功に関連する 2 つの重要な要素です。さまざまなモダリティからの情報がコラボレーションの質を反映する可能性があるため、このホワイトペーパーでは、規制がコラボレーションプロセス中の相互作用にどのように影響するかを調べるために、認知的および感情的なトリガーを備えた新しいマルチモーダルデータセットを紹介します。具体的には、意図的な介入を伴う学習タスクが設計され、平均 15 歳の高校生 (N=81) に割り当てられます。ビデオ、Kinect、オーディオ、および生理学的データを含むマルチモーダル信号が収集され、個人-参加者-単一モダリティ、個人-参加者-複数モダリティ、および複数-参加者-複数モダリティ。注釈付きの感情、身体のジェスチャー、およびそれらの相互作用の分析は、設計された治療法を備えたマルチモーダル データセットが、共同学習における規制の瞬間を効果的に調べることができることを示しています。さらに、ベースライン モデルに基づく予備実験は、データセットが困難な野外シナリオを提供することを示唆しており、教育や感情的コンピューティングの分野にさらに貢献する可能性があります。
Collaborative learning is an educational approach that enhances learning through shared goals and working together. Interaction and regulation are two essential factors related to the success of collaborative learning. Since the information from various modalities can reflect the quality of collaboration, a new multimodal dataset with cognitive and emotional triggers is introduced in this paper to explore how regulations affect interactions during the collaborative process. Specifically, a learning task with intentional interventions is designed and assigned to high school students aged 15 years old (N=81) in average. Multimodal signals, including video, Kinect, audio, and physiological data, are collected and exploited to study regulations in collaborative learning in terms of individual-participant-single-modality, individual-participant-multiple-modality, and multiple-participant-multiple-modality. Analysis of annotated emotions, body gestures, and their interactions indicates that our multimodal dataset with designed treatments could effectively examine moments of regulation in collaborative learning. In addition, preliminary experiments based on baseline models suggest that the dataset provides a challenging in-the-wild scenario, which could further contribute to the fields of education and affective computing.