arXiv reaDer
nocaps: novel object captioning at scale
  画像キャプションモデルは、限られた視覚的概念と大量の画像キャプショントレーニングデータのペアを含むデータセットで印象的な結果を達成しました。ただし、これらのモデルが実際に機能する場合は、理想的にはより少ない監督から、はるかに多くの視覚的概念を学習する必要があります。オブジェクト検出データセットなどの代替データソースから視覚的概念を学習できる画像キャプションモデルの開発を促進するために、このタスクの最初の大規模ベンチマークを提示します。 「nocaps」と呼ばれる、大規模な新しいオブジェクトキャプションのベンチマークは、OpenImages検証およびテストセットから15,100個の画像を記述する166,100個の人間が生成したキャプションで構成されています。関連するトレーニングデータは、COCO画像キャプションペアと、OpenImages画像レベルラベルおよびオブジェクト境界ボックスで構成されます。 OpenImagesにはCOCOよりも多くのクラスが含まれているため、テスト画像に見られる約400のオブジェクトクラスには、関連するトレーニングキャプションがまったくないか、ほとんどありません(したがって、nocaps)。既存の新しいオブジェクトキャプションモデルを拡張して、このベンチマークの強力なベースラインを確立し、このタスクの今後の作業をガイドする分析を提供します。
Image captioning models have achieved impressive results on datasets containing limited visual concepts and large amounts of paired image-caption training data. However, if these models are to ever function in the wild, a much larger variety of visual concepts must be learned, ideally from less supervision. To encourage the development of image captioning models that can learn visual concepts from alternative data sources, such as object detection datasets, we present the first large-scale benchmark for this task. Dubbed 'nocaps', for novel object captioning at scale, our benchmark consists of 166,100 human-generated captions describing 15,100 images from the OpenImages validation and test sets. The associated training data consists of COCO image-caption pairs, plus OpenImages image-level labels and object bounding boxes. Since OpenImages contains many more classes than COCO, nearly 400 object classes seen in test images have no or very few associated training captions (hence, nocaps). We extend existing novel object captioning models to establish strong baselines for this benchmark and provide analysis to guide future work on this task.
updated: Mon Sep 30 2019 20:10:33 GMT+0000 (UTC)
published: Thu Dec 20 2018 16:04:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト