arXiv reaDer
Exploiting multi-CNN features in CNN-RNN based Dimensional Emotion Recognition on the OMG in-the-wild Dataset
 このホワイトペーパーでは、1分間の段階的感情(OMG-Emotion)データセットを利用して、複数のCNN機能を活用して、実際の次元の感情認識を実現する、新しいCNN-RNNベースのアプローチを紹介します。私たちのアプローチには、関連する大規模なAff-WildおよびAff-Wild2感情データベースを使用した最初の事前トレーニングが含まれます。低、中、高レベルの機能は、トレーニングされたCNNコンポーネントから抽出され、マルチタスクフレームワークのRNNサブネットによって利用されます。それらの出力は、中間レベルの予測を構成します。最終的な推定値は、これらの予測の平均値または中央値として取得されます。得られたパフォーマンスを向上させるために、決定レベルまたはモデルレベルでネットワークの融合も検討されます。後者の場合、RNNが融合に使用されました。私たちのアプローチは、視覚的モダリティのみを使用していますが、オーディオおよび視覚的モダリティを利用した最先端の方法を上回っています。私たちの開発の一部はOMG-Emotion Challengeに提出されており、価数推定に視覚情報のみを使用するテクノロジーの中で2番目にランクされています。総合3位。広範な実験を通じて、低レベルの機能を高レベルの機能と組み合わせると、覚醒推定が大幅に改善されることをさらに示します。
This paper presents a novel CNN-RNN based approach, which exploits multiple CNN features for dimensional emotion recognition in-the-wild, utilizing the One-Minute Gradual-Emotion (OMG-Emotion) dataset. Our approach includes first pre-training with the relevant and large in size, Aff-Wild and Aff-Wild2 emotion databases. Low-, mid- and high-level features are extracted from the trained CNN component and are exploited by RNN subnets in a multi-task framework. Their outputs constitute an intermediate level prediction; final estimates are obtained as the mean or median values of these predictions. Fusion of the networks is also examined for boosting the obtained performance, at Decision-, or at Model-level; in the latter case a RNN was used for the fusion. Our approach, although using only the visual modality, outperformed state-of-the-art methods that utilized audio and visual modalities. Some of our developments have been submitted to the OMG-Emotion Challenge, ranking second among the technologies which used only visual information for valence estimation; ranking third overall. Through extensive experimentation, we further show that arousal estimation is greatly improved when low-level features are combined with high-level ones.
updated: Fri Apr 10 2020 10:28:25 GMT+0000 (UTC)
published: Thu Oct 03 2019 11:56:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト