ソーシャルメディアプラットフォーム上でテキストや画像を含むデマが爆発的に増加し、大きな注目を集めています。既存の研究は、クロスモーダル情報の相互作用と融合に多大な貢献をしてきましたが、異なるモダリティコンテンツ間の階層的で複雑な意味相関を完全に調査することができず、マルチモーダルな噂の検出におけるパフォーマンスが大幅に制限されています。この研究では、基本的な意味相関と高次の知識強化エンティティ相関を共同モデル化することにより、マルチモーダル噂検出のための新しい知識強化階層型情報相関学習アプローチ (KhiCL) を提案します。具体的には、KhiCL は、クロスモーダル結合辞書を活用して、異種のユニモーダリティ特徴を共通の特徴空間に転送し、クロスモーダル融合層によって基本的なクロスモーダルの意味論的な一貫性と不一貫性をキャプチャします。さらに、マルチモーダル コンテンツの記述がエンティティを中心にナレーションされることを考慮して、KhiCL は画像とテキストから視覚的エンティティとテキスト エンティティを抽出し、外部ナレッジ グラフ内のエンティティの各ペア間の意味論的に関連する最短パスを見つけるための知識関連推論戦略を設計します。そして、知識強化されたエンティティ表現を学習するために、このパス内の他の接続されたエンティティのすべての補完的な文脈上の知識を吸収します。さらに、KhiCL は、署名された注意メカニズムを利用して、対応する意味論的関連距離を測定することによって、モダリティ内およびモダリティ間エンティティのペアの知識強化エンティティの一貫性と不一致をモデル化します。広範な実験により、提案された方法の有効性が実証されました。
The explosive growth of rumors with text and images on social media platforms has drawn great attention. Existing studies have made significant contributions to cross-modal information interaction and fusion, but they fail to fully explore hierarchical and complex semantic correlation across different modality content, severely limiting their performance on detecting multi-modal rumor. In this work, we propose a novel knowledge-enhanced hierarchical information correlation learning approach (KhiCL) for multi-modal rumor detection by jointly modeling the basic semantic correlation and high-order knowledge-enhanced entity correlation. Specifically, KhiCL exploits cross-modal joint dictionary to transfer the heterogeneous unimodality features into the common feature space and captures the basic cross-modal semantic consistency and inconsistency by a cross-modal fusion layer. Moreover, considering the description of multi-modal content is narrated around entities, KhiCL extracts visual and textual entities from images and text, and designs a knowledge relevance reasoning strategy to find the shortest semantic relevant path between each pair of entities in external knowledge graph, and absorbs all complementary contextual knowledge of other connected entities in this path for learning knowledge-enhanced entity representations. Furthermore, KhiCL utilizes a signed attention mechanism to model the knowledge-enhanced entity consistency and inconsistency of intra-modality and inter-modality entity pairs by measuring their corresponding semantic relevant distance. Extensive experiments have demonstrated the effectiveness of the proposed method.