arXiv reaDer
オブジェクト中心の階層化表現による移動オブジェクトのセグメント化
Segmenting Moving Objects via an Object-Centric Layered Representation
このペーパーの目的は、ビデオ内の複数の移動オブジェクトを検出、追跡、およびセグメント化できるモデルです。私たちは4つの貢献をします。最初に、深度順のレイヤー表現を備えたオブジェクト中心のセグメンテーションモデルを紹介します。これは、オプティカルフローを取り込むトランスアーキテクチャのバリアントを使用して実装されます。各クエリベクトルは、ビデオ全体のオブジェクトとそのレイヤーを指定します。モデルは、複数の移動オブジェクトを効果的に検出し、相互のオクルージョンを処理できます。次に、複数のオブジェクトを使用して合成トレーニングデータを生成し、労働集約的なアノテーションの要件を大幅に削減し、Sim2Realの一般化をサポートするためのスケーラブルなパイプラインを導入します。第三に、モデルがオブジェクトの永続性と時間的形状の一貫性を学習でき、アモーダルセグメンテーションマスクを予測できることを示します。第4に、標準のビデオセグメンテーションベンチマークであるDAVIS、MoCA、SegTrack、FBMS-59でモデルを評価し、いくつかの教師ありアプローチよりも優れた、最先端の教師なしセグメンテーションパフォーマンスを実現します。テスト時間の適応により、パフォーマンスがさらに向上します。
The objective of this paper is a model that is able to discover, track and segment multiple moving objects in a video. We make four contributions: First, we introduce an object-centric segmentation model with a depth-ordered layer representation. This is implemented using a variant of the transformer architecture that ingests optical flow, where each query vector specifies an object and its layer for the entire video. The model can effectively discover multiple moving objects and handle mutual occlusions; Second, we introduce a scalable pipeline for generating synthetic training data with multiple objects, significantly reducing the requirements for labour-intensive annotations, and supporting Sim2Real generalisation; Third, we show that the model is able to learn object permanence and temporal shape consistency, and is able to predict amodal segmentation masks; Fourth, we evaluate the model on standard video segmentation benchmarks, DAVIS, MoCA, SegTrack, FBMS-59, and achieve state-of-the-art unsupervised segmentation performance, even outperforming several supervised approaches. With test-time adaptation, we observe further performance boosts.
updated: Tue Jul 05 2022 17:59:43 GMT+0000 (UTC)
published: Tue Jul 05 2022 17:59:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト