arXiv reaDer
Multimodal Deep Models for Predicting Affective Responses Evoked by Movies
  この研究の目標は、映画クリップを視聴する視聴者の経験豊かな感情的反応を予測するためのマルチモーダルモデルを開発および分析することです。クリップのビデオとオーディオの両方に基づいて、ハイブリッドマルチモーダル予測モデルを開発します。ビデオコンテンツについては、画像コンテンツとモーションの両方が誘発感情予測の重要な機能であると仮定します。このような情報をキャプチャするために、事前学習済みのニューラルネットワークを使用して、RGBフレームとオプティカルフローから特徴を抽出します。オーディオモデルの場合、強度、ラウドネス、ケプストラム、線形予測係数、ピッチ、音声品質などの低レベル記述子の拡張セットを計算します。次に、視覚機能と音声機能の両方を連結して、視聴覚機能を作成し、これを使用して誘発感情を予測します。ムービークリップを対応する感情反応カテゴリに分類するには、ディープニューラルネットワークモデルに基づく2つのアプローチを提案します。 1つ目は、時間コンポーネントにメモリのない完全に接続されたレイヤーに基づいており、2つ目は、長期の短期メモリリカレントニューラルネットワーク(LSTM)による順次依存関係を組み込んでいます。各機能セットの重要性を徹底的に分析します。私たちの実験では、セットアップで、各タイムステップで感情を予測することにより、LSTMよりもわずかに優れた精度パフォーマンスが得られることが明らかになりました。興味深いことに、オプティカルフローはビデオのRGBよりも有益であり、全体的に、誘発された感情の最終的な予測を行う際に、オーディオ機能を使用するモデルはビデオ機能に基づくモデルよりも正確です。
The goal of this study is to develop and analyze multimodal models for predicting experienced affective responses of viewers watching movie clips. We develop hybrid multimodal prediction models based on both the video and audio of the clips. For the video content, we hypothesize that both image content and motion are crucial features for evoked emotion prediction. To capture such information, we extract features from RGB frames and optical flow using pre-trained neural networks. For the audio model, we compute an enhanced set of low-level descriptors including intensity, loudness, cepstrum, linear predictor coefficients, pitch and voice quality. Both visual and audio features are then concatenated to create audio-visual features, which are used to predict the evoked emotion. To classify the movie clips into the corresponding affective response categories, we propose two approaches based on deep neural network models. The first one is based on fully connected layers without memory on the time component, the second incorporates the sequential dependency with a long short-term memory recurrent neural network (LSTM). We perform a thorough analysis of the importance of each feature set. Our experiments reveal that in our set-up, predicting emotions at each time step independently gives slightly better accuracy performance than with the LSTM. Interestingly, we also observe that the optical flow is more informative than the RGB in videos, and overall, models using audio features are more accurate than those based on video features when making the final prediction of evoked emotions.
updated: Tue Sep 17 2019 05:24:05 GMT+0000 (UTC)
published: Mon Sep 16 2019 02:55:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト