arXiv reaDer
CBAM Attention と 2 層 BiLSTM アーキテクチャによるマルチモーダル感情分析の探索
Exploring Multimodal Sentiment Analysis via CBAM Attention and Double-layer BiLSTM Architecture
マルチモーダル データにはより多くのモーダル情報が含まれているため、マルチモーダル感情分析は最近の研究のホットスポットになっています。ただし、特徴抽出後の特徴融合には冗長な情報が含まれやすく、融合後の特徴表現に一定の影響を与えます。したがって、この論文では、新しいマルチモーダル感情分析モデルを提案します。私たちのモデルでは、BERT + BiLSTM を新しい特徴抽出器として使用して、文の長距離依存関係をキャプチャし、入力シーケンスの位置情報を考慮して、より豊富なテキスト特徴を取得します。冗長な情報を削除し、ネットワークが画像とテキストの特徴の間の相関関係にもっと注意を払うようにするために、テキストの特徴と画像の特徴を接合した後に CNN と CBAM の注意を追加して、特徴の表現能力を向上させます。 MVSA-single データセットと HFM データセットでは、ベースライン モデルと比較して、モデルの ACC はそれぞれ 1.78% と 1.91% 向上し、F1 値はそれぞれ 3.09% と 2.0% 向上しています。実験結果は、私たちのモデルが高度なモデルと同様の音響効果を達成することを示しています。
Because multimodal data contains more modal information, multimodal sentiment analysis has become a recent research hotspot. However, redundant information is easily involved in feature fusion after feature extraction, which has a certain impact on the feature representation after fusion. Therefore, in this papaer, we propose a new multimodal sentiment analysis model. In our model, we use BERT + BiLSTM as new feature extractor to capture the long-distance dependencies in sentences and consider the position information of input sequences to obtain richer text features. To remove redundant information and make the network pay more attention to the correlation between image and text features, CNN and CBAM attention are added after splicing text features and picture features, to improve the feature representation ability. On the MVSA-single dataset and HFM dataset, compared with the baseline model, the ACC of our model is improved by 1.78% and 1.91%, and the F1 value is enhanced by 3.09% and 2.0%, respectively. The experimental results show that our model achieves a sound effect, similar to the advanced model.
updated: Sun Mar 26 2023 12:34:01 GMT+0000 (UTC)
published: Sun Mar 26 2023 12:34:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト