インターネットミームは、Web上でますます人気のあるコミュニケーション手段として浮上しています。通常はユーモアを引き出すことを目的としていますが、政治的、社会文化的、心理的な理由で特定の個人、コミュニティ、または社会をターゲットにするだけでなく、憎悪、トローリング、ネットいじめを広めるためにますます使用されています。以前の作業は、有害で、憎悪的で、不快なミームの検出に焦点を当てていましたが、攻撃する相手を特定することは、依然として困難で未踏の領域です。ここでは、このギャップを埋めることを目指しています。特に、対象となる人物、組織、コミュニティの名前など、被害者を各ミームに注釈を付けるデータセットを作成します。次に、DISARM(hARmful MemesのターゲットとなるvIctimSの検出)を提案します。これは、名前付きエンティティの認識と個人の識別を使用して、ミームが参照しているすべてのエンティティを検出するフレームワークです。次に、新しいコンテキスト化されたマルチモーダルディープニューラルネットワークを組み込んで、ミームが意図するかどうかを分類します。これらのエンティティを傷つけるため。 3つのテスト設定でいくつかの体系的な実験を実行します。これは、(a)トレーニング中にすべてが見られ、(b)トレーニングで有害なターゲットとして見られず、(c)トレーニングでまったく見られないエンティティに対応します。評価結果は、DISARMが10のユニモーダルおよびマルチモーダルシステムを大幅に上回っていることを示しています。最後に、DISARMは解釈可能で比較的一般化可能であり、有害なターゲット識別の相対誤差率を、いくつかの強力なマルチモーダルライバルに対して絶対で最大9ポイント削減できることを示します。
Internet memes have emerged as an increasingly popular means of communication on the Web. Although typically intended to elicit humour, they have been increasingly used to spread hatred, trolling, and cyberbullying, as well as to target specific individuals, communities, or society on political, socio-cultural, and psychological grounds. While previous work has focused on detecting harmful, hateful, and offensive memes, identifying whom they attack remains a challenging and underexplored area. Here we aim to bridge this gap. In particular, we create a dataset where we annotate each meme with its victim(s) such as the name of the targeted person(s), organization(s), and community(ies). We then propose DISARM (Detecting vIctimS targeted by hARmful Memes), a framework that uses named entity recognition and person identification to detect all entities a meme is referring to, and then, incorporates a novel contextualized multimodal deep neural network to classify whether the meme intends to harm these entities. We perform several systematic experiments on three test setups, corresponding to entities that are (a) all seen while training, (b) not seen as a harmful target on training, and (c) not seen at all on training. The evaluation results show that DISARM significantly outperforms ten unimodal and multimodal systems. Finally, we show that DISARM is interpretable and comparatively more generalizable and that it can reduce the relative error rate for harmful target identification by up to 9 points absolute over several strong multimodal rivals.