arXiv reaDer
NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions
厳密に設計されたビデオ質問応答(VideoQA)ベンチマークであるNExT-QAを紹介し、時間的アクションの説明から説明までビデオの理解を深めます。データセットに基づいて、因果的行動の推論、時間的行動の推論、および一般的なシーンの理解を対象とした、複数の選択肢と制限のないQAタスクを設定しました。ベースラインと確立されたVideoQA手法の広範な分析を通じて、最高のパフォーマンスの方法は浅いシーンの記述には優れていますが、因果的および時間的なアクションの推論には弱いことがわかります。さらに、マルチチョイスQAに効果的なモデルは、オープンエンドQAに適合した場合でも、回答の一般化に苦労しています。これは、これらのモデルが推論する能力に疑問を投げかけ、改善の可能性を浮き彫りにします。さまざまな質問タイプの詳細な結果と将来の作業のためのヒューリスティックな観察により、NExT-QAが次世代のVQA研究を導き、表面的なシーンの説明を超えて、ビデオのより深い理解に向けて進むことを願っています。 (データセットと関連リソースはで入手できます)
We introduce NExT-QA, a rigorously designed video question answering (VideoQA) benchmark to advance video understanding from describing to explaining the temporal actions. Based on the dataset, we set up multi-choice and open-ended QA tasks targeting causal action reasoning, temporal action reasoning, and common scene comprehension. Through extensive analysis of baselines and established VideoQA techniques, we find that top-performing methods excel at shallow scene descriptions but are weak in causal and temporal action reasoning. Furthermore, the models that are effective on multi-choice QA, when adapted to open-ended QA, still struggle in generalizing the answers. This raises doubt on the ability of these models to reason and highlights possibilities for improvement. With detailed results for different question types and heuristic observations for future works, we hope NExT-QA will guide the next generation of VQA research to go beyond superficial scene description towards a deeper understanding of videos. (The dataset and related resources are available at
updated: Sun May 23 2021 09:37:24 GMT+0000 (UTC)
published: Tue May 18 2021 04:56:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト