近年、音声感情認識 (SER) が研究されており、主に音声信号をスペクトログラムに変換してから、一般的な画像で事前トレーニングされ、スペクトログラムで微調整された畳み込みニューラル ネットワークを使用して分類されます。この論文では、上記の一般的な考え方から始めて、スピーカー埋め込みと組み合わせたコンパクト畳み込み変換器 (CCT) に基づく SER の新しい学習ソリューションを開発します。 CCT を使用すると、ビジョン トランスフォーマー (ViT) の学習能力と、畳み込みによって可能になる大量のデータの必要性の減少が組み合わされます。これは、大規模なデータ コーパスが通常利用できない SER では重要です。話者の埋め込みにより、ネットワークは話者の ID 表現を抽出できます。これは、CCT がスペクトログラムから抽出した特徴を備えた自己注意メカニズムによって統合されます。全体として、ソリューションはリアルタイムで動作し、トレーニング データセットとテスト データセットが分離されているクロスコーパス シナリオで有望な結果を示します。文献ではめったに使用されないクロスコーパス設定でいくつかのベンチマークで実験が行われ、最先端のネットワーク アーキテクチャで得られた結果と同等またはそれ以上の結果が得られました。コードは https://github.com/JabuMlDev/Speaker-VGG-CCT で入手できます。
In recent years, Speech Emotion Recognition (SER) has been investigated mainly transforming the speech signal into spectrograms that are then classified using Convolutional Neural Networks pretrained on generic images and fine tuned with spectrograms. In this paper, we start from the general idea above and develop a new learning solution for SER, which is based on Compact Convolutional Transformers (CCTs) combined with a speaker embedding. With CCTs, the learning power of Vision Transformers (ViT) is combined with a diminished need for large volume of data as made possible by the convolution. This is important in SER, where large corpora of data are usually not available. The speaker embedding allows the network to extract an identity representation of the speaker, which is then integrated by means of a self-attention mechanism with the features that the CCT extracts from the spectrogram. Overall, the solution is capable of operating in real-time showing promising results in a cross-corpus scenario, where training and test datasets are kept separate. Experiments have been performed on several benchmarks in a cross-corpus setting as rarely used in the literature, with results that are comparable or superior to those obtained with state-of-the-art network architectures. Our code is available at https://github.com/JabuMlDev/Speaker-VGG-CCT.