人間は、物理的な出来事を認識し、理解し、推論することができます。同様の物理的理解能力を備えたモデルを開発することは、人工知能の長年の目標です。この目標に向けたステップとして、この作業では、物理的な力とオブジェクトの相互作用についての因果推論を必要とする新しい視覚的な質問応答データセットであるCRAFTを紹介します。これには、20の異なる仮想環境からの10Kビデオから生成された58Kビデオと質問のペアが含まれ、相互に作用するさまざまなオブジェクトとシーンが含まれています。 CRAFTの2つの質問カテゴリには、以前に調査された記述的質問と反事実的質問が含まれます。さらに、認知言語学における力のダイナミクスの理論に触発されて、原因、有効化、および防止の概念を通じてオブジェクトの相互作用を理解することを含む新しい質問カテゴリを紹介します。私たちの結果は、これらのタスクが人間にとって単純で直感的であるように見えても、既存の最先端の方法を含む評価されたベースラインモデルは、ベンチマークデータセットで提起された課題にまだ対処していないことを示しています。
Humans are able to perceive, understand and reason about physical events. Developing models with similar physical understanding capabilities is a long-standing goal of artificial intelligence. As a step towards this goal, in this work, we introduce CRAFT, a new visual question answering dataset that requires causal reasoning about physical forces and object interactions. It contains 58K video and question pairs that are generated from 10K videos from 20 different virtual environments, containing various objects in motion that interact with each other and the scene. Two question categories from CRAFT include previously studied descriptive and counterfactual questions. Besides, inspired by the theories of force dynamics in cognitive linguistics, we introduce new question categories that involve understanding the interactions of objects through the notions of cause, enable, and prevent. Our results demonstrate that even though these tasks seem to be simple and intuitive for humans, the evaluated baseline models, including existing state-of-the-art methods, do not yet deal with the challenges posed in our benchmark dataset.