マルチモーダルデータの爆発的な増加は、厳密な事前の関連する仮定に従う多くのクロスモーダルアプリケーションで大きな需要を生み出します。したがって、研究者はクロスモーダル相関カテゴリの定義を研究し、さまざまな分類システムと予測モデルを構築します。ただし、これらのシステムは、関連性のないタイプに分割されることが多い暗黙の関連性のあるデータを無視して、きめ細かい関連性のあるタイプのクロスモーダル相関にさらに注意を払います。さらに悪いことに、以前の予測モデルはいずれも、モデリング段階での定義に従って、クロスモーダル相関の本質を明らかにしていません。この論文では、画像とテキストの相関関係の包括的な分析を提示し、暗黙的な関連付けと明示的な配置に基づいて新しい分類システムを再定義します。画像とテキストの相関関係のタイプを予測するために、提案された定義(つまり、AnANet)に従って、画像とテキスト間のグローバルな不一致と共通性を暗黙的に表し、クロスモーダルなローカル関連性を明示的にキャプチャするAssociation and AlignmentNetworkを提案します。構築された新しい画像とテキストの相関データセットの実験結果は、モデルの有効性を示しています。
The explosive increase of multimodal data makes a great demand in many cross-modal applications that follow the strict prior related assumption. Thus researchers study the definition of cross-modal correlation category and construct various classification systems and predictive models. However, those systems pay more attention to the fine-grained relevant types of cross-modal correlation, ignoring lots of implicit relevant data which are often divided into irrelevant types. What's worse is that none of previous predictive models manifest the essence of cross-modal correlation according to their definition at the modeling stage. In this paper, we present a comprehensive analysis of the image-text correlation and redefine a new classification system based on implicit association and explicit alignment. To predict the type of image-text correlation, we propose the Association and Alignment Network according to our proposed definition (namely AnANet) which implicitly represents the global discrepancy and commonality between image and text and explicitly captures the cross-modal local relevance. The experimental results on our constructed new image-text correlation dataset show the effectiveness of our model.