人間の感情認識は、心理的ケアなど、多くの用途を持つ確立された研究分野ですが、既存の方法では、注釈付きのトレーニング例としてすべての関心の感情が事前に与えられることを前提としています。ただし、新しい心理学理論による人間の感情スペクトルの粒度の向上と洗練、およびコンテキストでの感情の考慮の増加は、データ収集とラベル付け作業にかなりの圧力をもたらします。この論文では、文脈における感情のワンショット認識を概念化します。これは、単一のサポートサンプルからより細かい粒子レベルで人間の感情状態を認識することを目的とした新しい問題です。この困難なタスクに対処するために、ディープメトリック学習パラダイムに従い、人間の外観の補足情報とセマンティックセグメンテーションネットワークを通じて取得されたセマンティックシーンコンテキストを活用することにより、同じ感情の埋め込みの距離を最小化するマルチモーダル感情埋め込みアプローチを導入します。コンテキストアウェアモデルのすべてのストリームは、加重トリプレット損失と加重クロスエントロピー損失を使用して共同で最適化されます。ワンショット認識問題に適合したエモティックデータセットのカテゴリと数値の両方の感情認識タスクについて徹底的な実験を行い、単一の例から人間の感情を分類することは難しいタスクであることを明らかにしました。それでも、私たちのモデルのすべてのバリアントは、ランダムベースラインを明らかに上回っていますが、セマンティックシーンのコンテキストを活用することで、学習された表現が一貫して改善され、最先端の結果がワンショットの感情認識に設定されます。人間の影響状態のより普遍的な表現の研究を促進するために、https://github.com/KPeng9510/Affect-DMLの下でコミュニティにベンチマークとモデルを公開します。
Human affect recognition is a well-established research area with numerous applications, e.g., in psychological care, but existing methods assume that all emotions-of-interest are given a priori as annotated training examples. However, the rising granularity and refinements of the human emotional spectrum through novel psychological theories and the increased consideration of emotions in context brings considerable pressure to data collection and labeling work. In this paper, we conceptualize one-shot recognition of emotions in context -- a new problem aimed at recognizing human affect states in finer particle level from a single support sample. To address this challenging task, we follow the deep metric learning paradigm and introduce a multi-modal emotion embedding approach which minimizes the distance of the same-emotion embeddings by leveraging complementary information of human appearance and the semantic scene context obtained through a semantic segmentation network. All streams of our context-aware model are optimized jointly using weighted triplet loss and weighted cross entropy loss. We conduct thorough experiments on both, categorical and numerical emotion recognition tasks of the Emotic dataset adapted to our one-shot recognition problem, revealing that categorizing human affect from a single example is a hard task. Still, all variants of our model clearly outperform the random baseline, while leveraging the semantic scene context consistently improves the learnt representations, setting state-of-the-art results in one-shot emotion recognition. To foster research of more universal representations of human affect states, we will make our benchmark and models publicly available to the community under https://github.com/KPeng9510/Affect-DML.