画像キャプションに関する既存の研究は、通常、低レベルの事実(オブジェクトと関係)を含むシーングラフを使用して画像を表し、高レベルのセマンティクスをキャプチャできません。この論文では、高レベルのクロスモダリティセマンティクスを表すテーマコンセプトを組み込んだテーマコンセプト拡張画像キャプション(TCIC)フレームワークを提案します。実際には、テーマの概念をメモリベクトルとしてモデル化し、テーマノードを備えたTransformer(TTN)を提案して、画像のキャプションにこれらのベクトルを組み込みます。テーマの概念は画像とキャプションの両方から学習できることを考慮して、TTNに基づいて学習する表現の2つの設定を提案します。視覚面では、TTNは、シーングラフベースの機能とテーマの概念の両方を視覚表現学習の入力として使用するように構成されています。言語側では、TTNは、テキスト表現の再構築の入力としてキャプションとテーマの概念の両方を使用するように構成されています。どちらの設定も、同じトランスフォーマーベースのデコーダーでターゲットキャプションを生成することを目的としています。トレーニング中に、画像と対応するキャプションから学習したテーマの概念の表現をさらに調整して、クロスモダリティ学習を実施します。 MS COCOの実験結果は、いくつかの最先端モデルと比較して、私たちのアプローチの有効性を示しています。
Existing research for image captioning usually represents an image using a scene graph with low-level facts (objects and relations) and fails to capture the high-level semantics. In this paper, we propose a Theme Concepts extended Image Captioning (TCIC) framework that incorporates theme concepts to represent high-level cross-modality semantics. In practice, we model theme concepts as memory vectors and propose Transformer with Theme Nodes (TTN) to incorporate those vectors for image captioning. Considering that theme concepts can be learned from both images and captions, we propose two settings for their representations learning based on TTN. On the vision side, TTN is configured to take both scene graph based features and theme concepts as input for visual representation learning. On the language side, TTN is configured to take both captions and theme concepts as input for text representation re-construction. Both settings aim to generate target captions with the same transformer-based decoder. During the training, we further align representations of theme concepts learned from images and corresponding captions to enforce the cross-modality learning. Experimental results on MS COCO show the effectiveness of our approach compared to some state-of-the-art models.