arXiv reaDer
モバイルデバイスの顔の表情、感情価、覚醒、アクションユニットのフレームレベルの予測
Frame-level Prediction of Facial Expressions, Valence, Arousal and Action Units for Mobile Devices
この論文では、リアルタイムのビデオベースの顔の感情分析の問題、すなわち、顔の表情の認識、価数と覚醒の予測、およびアクションユニットポイントの検出について考察します。 AffectNetで事前トレーニングされた単一のEfficientNetモデルを使用して顔の特徴を抽出することにより、新しいフレームレベルの感情認識アルゴリズムを提案します。その結果、私たちのアプローチは、モバイルデバイスでのビデオ分析にも実装される可能性があります。第3回AffectiveBehaviorAnalysis in-the-wild(ABAW)コンペティションの大規模Aff-Wild2データベースの実験結果は、VggFaceベースラインと比較した場合に単純なモデルが大幅に優れていることを示しています。特に、私たちの方法は、ユニタスク式分類、感情覚醒推定、および式分類における検証セットのパフォーマンス測定値が0.15〜0.2高いことを特徴としています。単純さのために、私たちのアプローチは、4つのサブチャレンジすべての新しいベースラインと見なすことができます。
In this paper, we consider the problem of real-time video-based facial emotion analytics, namely, facial expression recognition, prediction of valence and arousal and detection of action unit points. We propose the novel frame-level emotion recognition algorithm by extracting facial features with the single EfficientNet model pre-trained on AffectNet. As a result, our approach may be implemented even for video analytics on mobile devices. Experimental results for the large scale Aff-Wild2 database from the third Affective Behavior Analysis in-the-wild (ABAW) Competition demonstrate that our simple model is significantly better when compared to the VggFace baseline. In particular, our method is characterized by 0.15-0.2 higher performance measures for validation sets in uni-task Expression Classification, Valence-Arousal Estimation and Expression Classification. Due to simplicity, our approach may be considered as a new baseline for all four sub-challenges.
updated: Tue May 24 2022 08:00:17 GMT+0000 (UTC)
published: Fri Mar 25 2022 03:53:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト