arXiv reaDer
CoPhy: Counterfactual Learning of Physical Dynamics
 機械システムの原因と影響を理解することは、物理的な世界における推論の重要な要素です。この作品は、視覚入力からのオブジェクトメカニクスの反事実学習の新しい問題を提起します。 CoPhyベンチマークを開発して、合成3D環境での因果的物理推論のための最新モデルの容量を評価し、反事実的な設定で物理ダイナミクスを学習するためのモデルを提案します。たとえば、落下するブロックの塔、一連の跳ねるボール、または衝突するオブジェクトを含む機械実験を観察したので、初期状態への任意の介入、たとえば、シーン内のオブジェクト。変更された過去と、監督なしでモデルによってエンドツーエンドの方法で学習された交絡因子の潜在的な表現を考慮して、代替の未来が予測されます。フィードフォワードビデオ予測ベースラインと比較し、代替エクスペリエンスを観察することで、ネットワークが環境の潜在的な物理的特性をキャプチャし、スーパーヒューマンパフォーマンスのレベルではるかに正確な予測を実現する方法を示します。
Understanding causes and effects in mechanical systems is an essential component of reasoning in the physical world. This work poses a new problem of counterfactual learning of object mechanics from visual input. We develop the CoPhy benchmark to assess the capacity of the state-of-the-art models for causal physical reasoning in a synthetic 3D environment and propose a model for learning the physical dynamics in a counterfactual setting. Having observed a mechanical experiment that involves, for example, a falling tower of blocks, a set of bouncing balls or colliding objects, we learn to predict how its outcome is affected by an arbitrary intervention on its initial conditions, such as displacing one of the objects in the scene. The alternative future is predicted given the altered past and a latent representation of the confounders learned by the model in an end-to-end fashion with no supervision. We compare against feedforward video prediction baselines and show how observing alternative experiences allows the network to capture latent physical properties of the environment, which results in significantly more accurate predictions at the level of super human performance.
updated: Tue Apr 07 2020 12:48:26 GMT+0000 (UTC)
published: Thu Sep 26 2019 09:34:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト