感情は、人間のコミュニケーションと公開プレゼンテーションで重要な役割を果たします。人間の感情は通常、複数のモダリティを通じて表現されます。したがって、プレゼンテーションの感情表現を理解し、プレゼンテーションスキルを向上させるには、マルチモーダルな感情とその一貫性を調査することが非常に重要です。ただし、プレゼンテーションビデオを手動で見て学習することは、多くの場合、退屈で時間がかかります。効率的かつ詳細なマルチレベル分析の実施を支援するツールのサポートが不足しています。したがって、このペーパーでは、プレゼンテーションビデオの顔、テキスト、およびオーディオモダリティ全体の感情の一貫性の効率的な分析を促進するインタラクティブな視覚分析システムであるEmoCoを紹介します。私たちの視覚化システムは、ユーザーが感情の一貫性とその時間的進化の概要をすばやく取得できるようにするチャネル一貫性ビューと文クラスタリングビューを備えています。さらに、詳細ビューと単語ビューにより、それぞれ文レベルと単語レベルからの詳細な調査と比較が可能になります。 TED Talkビデオと2人のドメイン専門家とのインタビューに基づいた2つの使用シナリオを通じて、提案されたシステムと視覚化技術を徹底的に評価します。結果は、プレゼンテーションにおける感情の一貫性に関する洞察を得る際のシステムの有効性を示しています。
Emotions play a key role in human communication and public presentations. Human emotions are usually expressed through multiple modalities. Therefore, exploring multimodal emotions and their coherence is of great value for understanding emotional expressions in presentations and improving presentation skills. However, manually watching and studying presentation videos is often tedious and time-consuming. There is a lack of tool support to help conduct an efficient and in-depth multi-level analysis. Thus, in this paper, we introduce EmoCo, an interactive visual analytics system to facilitate efficient analysis of emotion coherence across facial, text, and audio modalities in presentation videos. Our visualization system features a channel coherence view and a sentence clustering view that together enable users to obtain a quick overview of emotion coherence and its temporal evolution. In addition, a detail view and word view enable detailed exploration and comparison from the sentence level and word level, respectively. We thoroughly evaluate the proposed system and visualization techniques through two usage scenarios based on TED Talk videos and interviews with two domain experts. The results demonstrate the effectiveness of our system in gaining insights into emotion coherence in presentations.