arXiv reaDer
CubeMLP: マルチモーダル感情分析とうつ病推定のための MLP ベースのモデル
CubeMLP: An MLP-based Model for Multimodal Sentiment Analysis and Depression Estimation
マルチモーダル感情分析とうつ病推定は、マルチモーダル データを使用して人間の精神状態を予測することを目的とした 2 つの重要な研究トピックです。以前の研究は、さまざまなモダリティからの心関連情報を交換および統合するための効果的な融合戦略の開発に焦点を当ててきました。いくつかの MLP ベースの手法は、最近、さまざまなコンピューター ビジョン タスクでかなりの成功を収めています。これに触発されて、この研究では機能混合の観点からマルチモーダルなアプローチを探ります。この目的のために、完全に MLP に基づくマルチモーダル機能処理フレームワークである CubeMLP を紹介します。 CubeMLP は 3 つの独立した MLP ユニットで構成され、それぞれに 2 つのアフィン変換があります。 CubeMLP は、関連するすべてのモダリティ機能を入力として受け入れ、それらを 3 つの軸にわたって混合します。 CubeMLP を使用して特性を抽出した後、混合されたマルチモーダル機能はタスク予測のために平坦化されます。私たちの実験は、感情分析データセット: CMU-MOSI および CMU-MOSEI、およびうつ病推定データセット: AVEC2019 で行われます。結果は、CubeMLP がはるかに低いコンピューティング コストで最先端のパフォーマンスを達成できることを示しています。
Multimodal sentiment analysis and depression estimation are two important research topics that aim to predict human mental states using multimodal data. Previous research has focused on developing effective fusion strategies for exchanging and integrating mind-related information from different modalities. Some MLP-based techniques have recently achieved considerable success in a variety of computer vision tasks. Inspired by this, we explore multimodal approaches with a feature-mixing perspective in this study. To this end, we introduce CubeMLP, a multimodal feature processing framework based entirely on MLP. CubeMLP consists of three independent MLP units, each of which has two affine transformations. CubeMLP accepts all relevant modality features as input and mixes them across three axes. After extracting the characteristics using CubeMLP, the mixed multimodal features are flattened for task predictions. Our experiments are conducted on sentiment analysis datasets: CMU-MOSI and CMU-MOSEI, and depression estimation dataset: AVEC2019. The results show that CubeMLP can achieve state-of-the-art performance with a much lower computing cost.
updated: Tue Sep 13 2022 03:20:18 GMT+0000 (UTC)
published: Thu Jul 28 2022 13:50:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト