arXiv reaDer
発達障害のある子供のためのモバイル治療ゲームのフレームを使用した感情検出分類器のトレーニング
Training an Emotion Detection Classifier using Frames from a Mobile Therapeutic Game for Children with Developmental Disorders
自動化された感情分類は、自閉症などの発達行動状態の子供を含む、感情を認識するのに苦労している人々を助けることができます。ただし、ほとんどのコンピュータービジョン感情モデルは、大人の感情についてトレーニングされているため、子供の顔ではパフォーマンスが低下します。この研究では、自動子供の感情検出のパフォーマンスを翻訳デジタルヘルスケアに必要なレベルにまで高めるために、子供の影響データの収集とラベル付けをゲーミフィケーションする戦略を設計しました。発達や行動の状態にある子供向けに設計された治療用スマートフォンゲームGuessWhatを活用して、ゲームによって引き起こされるさまざまな感情を表現する子供たちのビデオデータの安全なコレクションをゲーミフィケーションしました。人間によるラベル付けの取り組みをゲーミフィケーションする安全なWebインターフェイスを通じて、すべての画像に2,155本の動画、39,968個の感情フレーム、106,001個のラベルを収集してラベルを付けました。この大幅に拡張された小児感情中心のデータベース(既存の公的な小児感情データセットの30倍以上)を使用して、幸せ、悲しい、驚き、恐れ、怒り、嫌悪感、中立的な表現の小児感情分類畳み込みニューラルネットワーク(CNN)分類器をトレーニングしました。子供達。分類器は、CAFE全体で66.9%のバランスの取れた精度と67.4%のF1スコアを達成し、感情ラベルで少なくとも60%の人間の合意を含むサブセットであるCAFEサブセットAで79.1%のバランスの取れた精度と78.0%のF1スコアを達成しました。このパフォーマンスは、以前に公開されたすべての分類器よりも少なくとも10%高く、「怒り」と「嫌悪感」を1つのクラスに組み合わせた場合でも、最高の精度は56%に達しました。この作業は、小児治療用に設計されたモバイルゲームが、ドメイン関連のデータセットを大量に生成して、最新の分類器をトレーニングし、精密な健康管理に非常に関連するタスクを実行できることを検証します。
Automated emotion classification could aid those who struggle to recognize emotion, including children with developmental behavioral conditions such as autism. However, most computer vision emotion models are trained on adult affect and therefore underperform on child faces. In this study, we designed a strategy to gamify the collection and the labeling of child affect data in an effort to boost the performance of automatic child emotion detection to a level closer to what will be needed for translational digital healthcare. We leveraged our therapeutic smartphone game, GuessWhat, which was designed in large part for children with developmental and behavioral conditions, to gamify the secure collection of video data of children expressing a variety of emotions prompted by the game. Through a secure web interface gamifying the human labeling effort, we gathered and labeled 2,155 videos, 39,968 emotion frames, and 106,001 labels on all images. With this drastically expanded pediatric emotion centric database (>30x larger than existing public pediatric affect datasets), we trained a pediatric emotion classification convolutional neural network (CNN) classifier of happy, sad, surprised, fearful, angry, disgust, and neutral expressions in children. The classifier achieved 66.9% balanced accuracy and 67.4% F1-score on the entirety of CAFE as well as 79.1% balanced accuracy and 78.0% F1-score on CAFE Subset A, a subset containing at least 60% human agreement on emotions labels. This performance is at least 10% higher than all previously published classifiers, the best of which reached 56.% balanced accuracy even when combining "anger" and "disgust" into a single class. This work validates that mobile games designed for pediatric therapies can generate high volumes of domain-relevant datasets to train state of the art classifiers to perform tasks highly relevant to precision health efforts.
updated: Wed Dec 16 2020 00:08:51 GMT+0000 (UTC)
published: Wed Dec 16 2020 00:08:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト