過去数年間で、ミームはインターネット上の新しいコミュニケーション手段になりました。ミームはテキストが埋め込まれた画像であるため、憎悪、攻撃、暴力をすばやく広める可能性があります。ミームの分類は、そのマルチモーダルな性質と地域固有の解釈のために非常に困難です。共有タスクは、マルチモーダルソーシャルメディアミームからトロールを識別できるモデルを開発するために編成されています。この作品は、タスクへの参加の一環として開発した計算モデルを示しています。トレーニングデータには、タミル語のコードが混在するテキストが埋め込まれた画像と、英語で指定された関連するキャプションの2つの形式があります。 CNN、VGG16、Inception、Multilingual-BERT、XLM-Roberta、XLNetモデルを使用して、視覚的およびテキスト的機能を調査しました。マルチモーダル特徴は、初期融合アプローチを介して画像(CNN、ResNet50、Inception)とテキスト(長期短期記憶ネットワーク)の特徴を組み合わせることによって抽出されます。結果は、XLNetを使用したテキストアプローチが0.58の最高の加重f_1スコアを達成したことを示しています。これにより、モデルはこのタスクで3位を確保できました。
In the past few years, the meme has become a new way of communication on the Internet. As memes are the images with embedded text, it can quickly spread hate, offence and violence. Classifying memes are very challenging because of their multimodal nature and region-specific interpretation. A shared task is organized to develop models that can identify trolls from multimodal social media memes. This work presents a computational model that we have developed as part of our participation in the task. Training data comes in two forms: an image with embedded Tamil code-mixed text and an associated caption given in English. We investigated the visual and textual features using CNN, VGG16, Inception, Multilingual-BERT, XLM-Roberta, XLNet models. Multimodal features are extracted by combining image (CNN, ResNet50, Inception) and text (Long short term memory network) features via early fusion approach. Results indicate that the textual approach with XLNet achieved the highest weighted f_1-score of 0.58, which enabled our model to secure 3^rd rank in this task.