arXiv reaDer
Generating Question Relevant Captions to Aid Visual Question Answering
 視覚的質問応答(VQA)と画像キャプションには、言語と視覚を結びつける一般的な知識の共有体が必要です。特定の視覚的な質問への回答を支援することを目的としたキャプションを共同で生成することにより、この接続を活用するVQAパフォーマンスを改善するための新しいアプローチを提示します。モデルは、オンラインの勾配ベースの方法を使用して質問に関連するキャプションを自動的に決定することにより、既存のキャプションデータセットを使用してトレーニングされます。 VQA v2チャレンジの実験結果は、私たちのアプローチが質問関連キャプションを同時に生成することにより、最先端のVQAパフォーマンス(単一のモデルを使用したテスト標準セットで68.4%など)を取得することを示しています。
Visual question answering (VQA) and image captioning require a shared body of general knowledge connecting language and vision. We present a novel approach to improve VQA performance that exploits this connection by jointly generating captions that are targeted to help answer a specific visual question. The model is trained using an existing caption dataset by automatically determining question-relevant captions using an online gradient-based method. Experimental results on the VQA v2 challenge demonstrates that our approach obtains state-of-the-art VQA performance (e.g. 68.4% on the Test-standard set using a single model) by simultaneously generating question-relevant captions.
updated: Fri Jan 03 2020 19:12:39 GMT+0000 (UTC)
published: Mon Jun 03 2019 00:42:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト