遠隔教育における学生の監視のための AI を利用した研究プラットフォームのデモンストレーターである edBB-Demo を紹介します。 edBB プラットフォームは、デジタル プラットフォームにおけるユーザー認識と行動理解に関連する課題を研究することを目的としています。このプラットフォームはデータ収集用に開発されており、キーボード、マウス、ウェブカメラ、マイク、スマートウォッチ、脳波バンドなどのさまざまなセンサーから信号を取得します。学生のセッション中にセンサーから取得された情報は、マルチモーダル学習フレームワークでモデル化されます。デモンストレーターには以下が含まれます。i) 監視されていない環境でのバイオメトリック ユーザー認証。 ii) 遠隔ビデオ分析に基づく人間の行動認識; iii) ウェブカメラのビデオからの心拍数の推定。 iv) 表情分析からの注目度推定。
We present edBB-Demo, a demonstrator of an AI-powered research platform for student monitoring in remote education. The edBB platform aims to study the challenges associated to user recognition and behavior understanding in digital platforms. This platform has been developed for data collection, acquiring signals from a variety of sensors including keyboard, mouse, webcam, microphone, smartwatch, and an Electroencephalography band. The information captured from the sensors during the student sessions is modelled in a multimodal learning framework. The demonstrator includes: i) Biometric user authentication in an unsupervised environment; ii) Human action recognition based on remote video analysis; iii) Heart rate estimation from webcam video; and iv) Attention level estimation from facial expression analysis.