オブジェクトの観点から世界を認識し、それらを経時的に追跡することは、推論とシーンの理解にとって重要な前提条件です。最近、オブジェクト中心の表現の教師なし学習のためにいくつかの方法が提案されています。ただし、これらのモデルはさまざまなダウンストリームタスクで評価されたため、オブジェクトの検出、図地のセグメンテーション、追跡などの基本的な知覚能力の観点から、モデルがどのように比較されるかは不明です。このギャップを埋めるために、さまざまな複雑さの4つのデータセットと、自然なビデオに関連する挑戦的な追跡シナリオを特徴とする7つの追加のテストセットを使用してベンチマークを設計します。このベンチマークを使用して、4つのオブジェクト中心のアプローチの知覚能力を比較します。ViMON、反復空間注意に基づくMONetのビデオ拡張、空間混合モデルを介したクラスタリングを活用するOP3、およびTBAとSCALORを使用します。空間変換器を介した明示的な因数分解。私たちの結果は、制約のない潜在表現を備えたアーキテクチャが、空間変換ベースのアーキテクチャよりも、オブジェクトの検出、セグメンテーション、および追跡の観点からより強力な表現を学習することを示唆しています。また、合成的な性質にもかかわらず、最も困難な追跡シナリオを適切に処理できる方法はないこともわかりました。これは、ベンチマークが、より堅牢なオブジェクト中心のビデオ表現を学習するための有益なガイダンスを提供する可能性があることを示唆しています。
Perceiving the world in terms of objects and tracking them through time is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models were evaluated on different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of objects. To close this gap, we design a benchmark with four data sets of varying complexity and seven additional test sets featuring challenging tracking scenarios relevant for natural videos. Using this benchmark, we compare the perceptual abilities of four object-centric approaches: ViMON, a video-extension of MONet, based on recurrent spatial attention, OP3, which exploits clustering via spatial mixture models, as well as TBA and SCALOR, which use explicit factorization via spatial transformers. Our results suggest that the architectures with unconstrained latent representations learn more powerful representations in terms of object detection, segmentation and tracking than the spatial transformer based architectures. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios despite their synthetic nature, suggesting that our benchmark may provide fruitful guidance towards learning more robust object-centric video representations.