現在および以前の状態に基づいてシーン オブジェクトの将来の状態を予測する問題であるダイナミクス予測は、物理学を学習する例としてますます注目を集めています。この問題を解決するために、ビジョンベースのモデルである領域提案畳み込みインタラクション ネットワーク (RPCIN) が提案され、長期予測において最先端のパフォーマンスを達成しました。 RPCIN は、生の画像と、各オブジェクトのバウンディング ボックスやセグメンテーション マスクなどの単純なオブジェクトの説明のみを入力として受け取ります。ただし、成功にもかかわらず、環境の不整合によりモデルの機能が損なわれる可能性があります。この論文では、クロスドメインとクロスコンテキストという環境の不整合に関する 2 つの困難な条件を調査するために、これらの課題に合わせて設計された 4 つのデータセット (SimB-Border、SimB-Split、BlenB-Border、および BlenB-Split) を提案します。データセットは 2 つのドメインと 2 つのコンテキストをカバーします。 RPCIN をプローブとして使用し、提案されたデータセットの組み合わせで行われた実験により、ビジョンベースの長期ダイナミクス予測モデルの潜在的な弱点が明らかになりました。さらに、クロスドメインの課題を軽減する有望な方向性を提案し、そのような方向性を裏付ける具体的な証拠を提供します。これにより、提案されたデータセットの課題が劇的に軽減されます。
Dynamics prediction, which is the problem of predicting future states of scene objects based on current and prior states, is drawing increasing attention as an instance of learning physics. To solve this problem, Region Proposal Convolutional Interaction Network (RPCIN), a vision-based model, was proposed and achieved state-of-the-art performance in long-term prediction. RPCIN only takes raw images and simple object descriptions, such as the bounding box and segmentation mask of each object, as input. However, despite its success, the model's capability can be compromised under conditions of environment misalignment. In this paper, we investigate two challenging conditions for environment misalignment: Cross-Domain and Cross-Context by proposing four datasets that are designed for these challenges: SimB-Border, SimB-Split, BlenB-Border, and BlenB-Split. The datasets cover two domains and two contexts. Using RPCIN as a probe, experiments conducted on the combinations of the proposed datasets reveal potential weaknesses of the vision-based long-term dynamics prediction model. Furthermore, we propose a promising direction to mitigate the Cross-Domain challenge and provide concrete evidence supporting such a direction, which provides dramatic alleviation of the challenge on the proposed datasets.