arXiv reaDer
クラフト:力と相互作用についての因果推論のベンチマーク
CRAFT: A Benchmark for Causal Reasoning About Forces and inTeractions
人工知能と深層学習の最近の進歩により、人間と機械の推論能力のギャップを研究することへの関心が復活しました。この進行中の作業では、物理的な力とオブジェクトの相互作用についての因果推論を必要とする新しい視覚的な質問応答データセットであるCRAFTを紹介します。これには、10の異なる仮想環境からの3Kビデオから生成された38Kビデオと質問のペアが含まれ、相互作用するさまざまな数の移動中のオブジェクトが含まれています。 CRAFTの2つの質問カテゴリには、以前に調査された記述的質問と反事実的質問が含まれます。さらに、人間の認知心理学の分野からの力のダイナミクスの理論に触発されて、原因、有効化、および防止の概念を通じてオブジェクトの意図を理解することを含む新しい質問カテゴリを紹介します。私たちの予備的な結果は、これらのタスクが人間にとって非常に直感的であるにもかかわらず、実装されたベースラインが根本的な課題に対処できなかったことを示しています。
Recent advances in Artificial Intelligence and deep learning have revived the interest in studying the gap between the reasoning capabilities of humans and machines. In this ongoing work, we introduce CRAFT, a new visual question answering dataset that requires causal reasoning about physical forces and object interactions. It contains 38K video and question pairs that are generated from 3K videos from 10 different virtual environments, containing different number of objects in motion that interact with each other. Two question categories from CRAFT include previously studied descriptive and counterfactual questions. Besides, inspired by the theory of force dynamics from the field of human cognitive psychology, we introduce new question categories that involve understanding the intentions of objects through the notions of cause, enable, and prevent. Our preliminary results demonstrate that even though these tasks are very intuitive for humans, the implemented baselines could not cope with the underlying challenges.
updated: Tue Dec 08 2020 09:11:32 GMT+0000 (UTC)
published: Tue Dec 08 2020 09:11:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト