arXiv reaDer
画像は重要: マルチモーダル双曲線検出のための新しいデータセットと実証研究
Image Matters: A New Dataset and Empirical Study for Multimodal Hyperbole Detection
誇張、または誇張は一般的な言語現象です。誇張の検出は人間の表現を理解する上で重要な部分です。誇張検出に関する研究はいくつかありますが、そのほとんどはテキストのモダリティのみに焦点を当てています。しかし、ソーシャル メディアの発展により、人々はテキスト、画像、ビデオなどを含むさまざまなモダリティを使用して双曲線表現を作成できるようになりました。この論文では、マルチモーダルな誇張表現の検出に焦点を当てます。マルチモーダル検出データセットを作成します。データセットはコミュニティにリリースされます。 Weibo(中国のソーシャルメディア)から情報を取得し、それについていくつかの研究を実施します。私たちは、weibo のテキストと画像を 2 つのモダリティとして扱い、誇張検出におけるテキストと画像の役割を調査します。さまざまな事前トレーニング済みマルチモーダル エンコーダーもこの下流タスクで評価され、パフォーマンスが表示されます。さらに、このデータセットは 5 つの異なるトピックから構成されているため、さまざまなモデルのクロスドメイン パフォーマンスも評価します。これらの研究はベンチマークとして機能し、マルチモーダル双曲線検出に関するさらなる研究の方向性を示すことができます。
Hyperbole, or exaggeration, is a common linguistic phenomenon. The detection of hyperbole is an important part of understanding human expression. There have been several studies on hyperbole detection, but most of which focus on text modality only. However, with the development of social media, people can create hyperbolic expressions with various modalities, including text, images, videos, etc. In this paper, we focus on multimodal hyperbole detection. We create a multimodal detection datasetThe dataset will be released to the community. from Weibo (a Chinese social media) and carry out some studies on it. We treat the text and image from a piece of weibo as two modalities and explore the role of text and image for hyperbole detection. Different pre-trained multimodal encoders are also evaluated on this downstream task to show their performance. Besides, since this dataset is constructed from five different topics, we also evaluate the cross-domain performance of different models. These studies can serve as a benchmark and point out the direction of further study on multimodal hyperbole detection.
updated: Thu Jul 06 2023 11:19:22 GMT+0000 (UTC)
published: Sat Jul 01 2023 03:23:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト