直観的な物理学は人間の物理世界の理解にとって極めて重要であり、幼児期であっても出来事の予測と解釈を可能にします。それにもかかわらず、このレベルの直観的な物理学を人工知能 (AI) で再現することは依然として困難な課題です。この研究では、AI エージェントによる直感的な物理学の把握を評価するための包括的なベンチマーク データセットである X-VoE を紹介します。発達心理学に根ざした期待違反 (VoE) パラダイムに基づいて構築された X-VoE は、直感的な物理モデルの説明能力に対してより高いハードルを確立します。 X-VoE 内の各 VoE シナリオには 3 つの異なる設定が含まれており、モデルによるイベントの理解とその根底にある説明を調査します。モデルの評価を超えて、明示的なオクルージョン ラベルを使用せずに、物理ダイナミクスをキャプチャし、視覚シーケンスのみからオクルージョンされたオブジェクトの状態を推測する説明ベースの学習システムを紹介します。実験結果は、X-VoE に対してテストした際に、私たちのモデルが人間の常識と一致していることを強調しています。注目すべき機能は、隠されたシーンを再構築することによって VoE イベントを視覚的に説明するモデルの機能です。最後に、調査結果の意味について議論し、今後の研究の方向性を概説します。 X-VoE を通じて、私たちは人間のような直感的な物理機能を備えた AI の進歩を促進します。
Intuitive physics is pivotal for human understanding of the physical world, enabling prediction and interpretation of events even in infancy. Nonetheless, replicating this level of intuitive physics in artificial intelligence (AI) remains a formidable challenge. This study introduces X-VoE, a comprehensive benchmark dataset, to assess AI agents' grasp of intuitive physics. Built on the developmental psychology-rooted Violation of Expectation (VoE) paradigm, X-VoE establishes a higher bar for the explanatory capacities of intuitive physics models. Each VoE scenario within X-VoE encompasses three distinct settings, probing models' comprehension of events and their underlying explanations. Beyond model evaluation, we present an explanation-based learning system that captures physics dynamics and infers occluded object states solely from visual sequences, without explicit occlusion labels. Experimental outcomes highlight our model's alignment with human commonsense when tested against X-VoE. A remarkable feature is our model's ability to visually expound VoE events by reconstructing concealed scenes. Concluding, we discuss the findings' implications and outline future research directions. Through X-VoE, we catalyze the advancement of AI endowed with human-like intuitive physics capabilities.