最新の画像キャプション システムは、画像から知識を抽出して静的なストーリーの概念を捉えることに大きく依存しています。この論文では、キャプション用のテキストの視覚的コンテキスト データセットを提案します。このデータセットでは、公開されているデータセット COCO Captions (Lin et al., 2014) がシーンに関する情報 (画像内のオブジェクトなど) で拡張されています。この情報はテキスト形式であるため、エンド ツー エンドのトレーニング戦略または後処理ベースのアプローチとして、テキストの類似性やセマンティック リレーション メソッドなどの NLP タスクをキャプション システムに活用するために使用できます。
Modern image captioning system relies heavily on extracting knowledge from images to capture the concept of a static story. In this paper, we propose a textual visual context dataset for captioning, in which the publicly available dataset COCO Captions (Lin et al., 2014) has been extended with information about the scene (such as objects in the image). Since this information has a textual form, it can be used to leverage any NLP task, such as text similarity or semantic relation methods, into captioning systems, either as an end-to-end training strategy or a post-processing based approach.