arXiv reaDer
KnowIT VQA:ビデオに関する知識ベースの質問への回答
KnowIT VQA: Answering Knowledge-Based Questions about Videos
 知識ベースとビデオ質問応答を融合することにより、新しいビデオ理解タスクを提案します。まず、KnowIT VQAを紹介します。これは、人気のコメディに関する24,282の人間が生成した質問と回答のペアを持つビデオデータセットです。このデータセットは、視覚的、テキスト的、時間的一貫性の推論と知識ベースの質問を組み合わせたものです。知識ベースの質問では、シリーズを閲覧して得られる経験が必要です。第二に、視覚およびテキストのビデオコンテンツとショーに関する特定の知識を組み合わせることにより、ビデオ理解モデルを提案します。主な調査結果は次のとおりです:(i)ビデオのVQAに知識を組み込むことで顕著な改善が得られ、(ii)KnowIT VQAのパフォーマンスは依然として人間の精度よりもかなり遅れており、現在のビデオモデリングの制限を研究するための有用性を示しています。
We propose a novel video understanding task by fusing knowledge-based and video question answering. First, we introduce KnowIT VQA, a video dataset with 24,282 human-generated question-answer pairs about a popular sitcom. The dataset combines visual, textual and temporal coherence reasoning together with knowledge-based questions, which need of the experience obtained from the viewing of the series to be answered. Second, we propose a video understanding model by combining the visual and textual video content with specific knowledge about the show. Our main findings are: (i) the incorporation of knowledge produces outstanding improvements for VQA in video, and (ii) the performance on KnowIT VQA still lags well behind human accuracy, indicating its usefulness for studying current video modelling limitations.
updated: Tue Dec 24 2019 04:13:21 GMT+0000 (UTC)
published: Wed Oct 23 2019 01:44:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト