arXiv reaDer
K-VQG:常識的な習得のための知識を意識した視覚的な質問の生成
K-VQG: Knowledge-aware Visual Question Generation for Common-sense Acquisition
Visual Question Generation(VQG)は、画像から質問を生成するタスクです。人間が画像について質問するとき、彼らの目標はしばしばいくつかの新しい知識を習得することです。ただし、VQGに関する既存の研究では、知識獲得の目的を見落とし、主に回答または質問カテゴリからの質問の生成に取り組んでいます。知識獲得の視点をVQGに導入するために、K-VQGと呼ばれる新しい知識認識VQGデータセットを構築しました。これは、画像に関する質問が構造化された知識に関連付けられている、人間が注釈を付けた最初の大規模なデータセットです。また、質問のターゲットとして知識をエンコードして使用できる新しいVQGモデルを開発しました。実験結果は、私たちのモデルがK-VQGデータセットの既存のモデルよりも優れていることを示しています。
Visual Question Generation (VQG) is a task to generate questions from images. When humans ask questions about an image, their goal is often to acquire some new knowledge. However, existing studies on VQG have mainly addressed question generation from answers or question categories, overlooking the objectives of knowledge acquisition. To introduce a knowledge acquisition perspective into VQG, we constructed a novel knowledge-aware VQG dataset called K-VQG. This is the first large, humanly annotated dataset in which questions regarding images are tied to structured knowledge. We also developed a new VQG model that can encode and use knowledge as the target for a question. The experiment results show that our model outperforms existing models on the K-VQG dataset.
updated: Tue Mar 15 2022 13:38:10 GMT+0000 (UTC)
published: Tue Mar 15 2022 13:38:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト