最近、画像のキャプションは、学術界と産業界の両方で大きな関心を呼んでいます。ほとんどの既存のシステムは、画像と文のペアで構成される大規模なデータセットに基づいて構築されていますが、構築には時間がかかります。また、最先端の画像キャプションシステムでも、深い画像理解を実現することは困難です。この作業では、ビジョンと言語ドメインを高レベルのセマンティック情報でブリッジすることにより、対になっていない画像キャプションを実現します。その動機は、同じモダリティを持つセマンティックコンセプトを画像と説明の両方から抽出できるという事実から生じています。モデルによって生成されるキャプションの品質をさらに向上させるために、セマンティックリレーションシップエクスプローラーを提案します。これは、イメージをよりよく理解するためにセマンティックコンセプト間の関係を調査します。 MSCOCOデータセットでの広範な実験は、ペアのデータセットなしで望ましいキャプションを生成できることを示しています。さらに、提案されたアプローチは、CIDErスコアの最も重要な改善が8%に達するペア設定の下で、5つの強力なベースラインを後押しし、効果的であり、幅広いモデルにうまく一般化されることを示しています。
Recently, image captioning has aroused great interest in both academic and industrial worlds. Most existing systems are built upon large-scale datasets consisting of image-sentence pairs, which, however, are time-consuming to construct. In addition, even for the most advanced image captioning systems, it is still difficult to realize deep image understanding. In this work, we achieve unpaired image captioning by bridging the vision and the language domains with high-level semantic information. The motivation stems from the fact that the semantic concepts with the same modality can be extracted from both images and descriptions. To further improve the quality of captions generated by the model, we propose the Semantic Relationship Explorer, which explores the relationships between semantic concepts for better understanding of the image. Extensive experiments on MSCOCO dataset show that we can generate desirable captions without paired datasets. Furthermore, the proposed approach boosts five strong baselines under the paired setting, where the most significant improvement in CIDEr score reaches 8%, demonstrating that it is effective and generalizes well to a wide range of models.