この論文は、ビデオにおける時空間オブジェクト中心の推論の問題を考察します。私たちのアプローチの中心は、オブジェクトの永続性の概念です。つまり、オブジェクトが他のオブジェクトによって遮られたり、封じ込められたり、運ばれたりしながら、ビデオ内を移動するときにオブジェクトの位置を推論する機能です。既存の深層学習ベースのアプローチは、ビデオ推論の問題に適用されると、時空間バイアスに悩まされることがよくあります。ビデオ内のオブジェクトの永続性を推論するためにマルチホップトランスフォーマーを使用するホッパーを提案します。ビデオとローカリゼーションクエリが与えられると、ホッパーは画像とオブジェクトトラックを推論して、重要なフレームを反復的に自動的にホップし、対象のオブジェクトの最終的な位置を予測します。時空間バイアスを減らすために対照的な損失を使用することの有効性を示します。 CATERデータセットを評価したところ、ホッパーは、いくつかの重要なフレームをホッピングすることで、わずか1FPSを使用して73.2%のトップ1精度を達成していることがわかりました。また、対象のオブジェクトを正しくローカライズするためにマルチステップの推論を必要とするCATER-hデータセットを構築することにより、Hopperが長期的な推論を実行できることも示します。
This paper considers the problem of spatiotemporal object-centric reasoning in videos. Central to our approach is the notion of object permanence, i.e., the ability to reason about the location of objects as they move through the video while being occluded, contained or carried by other objects. Existing deep learning based approaches often suffer from spatiotemporal biases when applied to video reasoning problems. We propose Hopper, which uses a Multi-hop Transformer for reasoning object permanence in videos. Given a video and a localization query, Hopper reasons over image and object tracks to automatically hop over critical frames in an iterative fashion to predict the final position of the object of interest. We demonstrate the effectiveness of using a contrastive loss to reduce spatiotemporal biases. We evaluate over CATER dataset and find that Hopper achieves 73.2% Top-1 accuracy using just 1 FPS by hopping through just a few critical frames. We also demonstrate Hopper can perform long-term reasoning by building a CATER-h dataset that requires multi-step reasoning to localize objects of interest correctly.