アフェクティブ コンピューティングの分野では、コミュニティの研究者がマルチモーダル情報の補完性を利用して、モデルとアルゴリズムのパフォーマンスを向上させてきました。ただし、ますます多くのモーダル情報が出現すると、データセットの開発が既存のモーダルセンシング機器の進歩に追いつくことができなくなります。マルチモーダル データの収集と調査は、複雑で重要な作業です。コミュニティ データの部分的な欠落の課題を補うため。既存のデータ セットの分析に基づいて、新しい均質なマルチモーダル ジェスチャ感情認識データセットを収集し、ラベルを付けました。このデータ セットは、均質なマルチモーダル データの欠陥を補完し、感情認識の新しい研究の方向性を提供します。さらに、このデータセットに基づく疑似デュアル フロー ネットワークを提案し、このデータセットのアフェクティブ コンピューティング コミュニティでのアプリケーションの可能性を検証します。実験結果は、従来の視覚情報と視覚的感情認識のための均一なマルチモーダル データに基づくスパイク視覚情報を使用することが実現可能であることを示しています。
In the field of affective computing, researchers in the community have promoted the performance of models and algorithms by using the complementarity of multimodal information. However, the emergence of more and more modal information makes the development of datasets unable to keep up with the progress of existing modal sensing equipment. Collecting and studying multimodal data is a complex and significant work. In order to supplement the challenge of partial missing of community data. We collected and labeled a new homogeneous multimodal gesture emotion recognition dataset based on the analysis of the existing data sets. This data set complements the defects of homogeneous multimodal data and provides a new research direction for emotion recognition. Moreover, we propose a pseudo dual-flow network based on this dataset, and verify the application potential of this dataset in the affective computing community. The experimental results demonstrate that it is feasible to use the traditional visual information and spiking visual information based on homogeneous multimodal data for visual emotion recognition.The dataset is available at https://github.com/201528014227051/SGED