意見と感情の分析は、ソーシャルメディアの投稿の主観的な情報を特徴づけるための重要なタスクです。この論文では、包括的な実験的評価と6つの最先端の方法との比較を示し、そのうちの1つを再実装しました。さらに、コンテンツのさまざまな側面をカバーするさまざまなテキストおよび視覚機能の埋め込み、および最近導入されたマルチモーダルCLIP埋め込みを調査します。実験結果は、ツイートと対応する画像の2つの異なる公開されているベンチマークデータセットについて提示されます。以前の研究の評価方法とは対照的に、結果を比較できるように、再現性のある公正な評価スキームを導入します。最後に、エラー分析を実施して、方法の限界と将来の作業の可能性について概説します。
Opinion and sentiment analysis is a vital task to characterize subjective information in social media posts. In this paper, we present a comprehensive experimental evaluation and comparison with six state-of-the-art methods, from which we have re-implemented one of them. In addition, we investigate different textual and visual feature embeddings that cover different aspects of the content, as well as the recently introduced multimodal CLIP embeddings. Experimental results are presented for two different publicly available benchmark datasets of tweets and corresponding images. In contrast to the evaluation methodology of previous work, we introduce a reproducible and fair evaluation scheme to make results comparable. Finally, we conduct an error analysis to outline the limitations of the methods and possibilities for the future work.