arXiv reaDer
オブジェクト中心の層状表現による移動オブジェクトのセグメント化
Segmenting Moving Objects via an Object-Centric Layered Representation
このホワイト ペーパーの目的は、ビデオ内の複数の移動オブジェクトを検出、追跡、およびセグメント化できるモデルです。 4 つの貢献を行います。まず、深さ順のレイヤー表現を使用したオブジェクト中心のセグメンテーション モデルを導入します。これは、オプティカル フローを取り込むトランスフォーマー アーキテクチャのバリアントを使用して実装されます。各クエリ ベクトルは、ビデオ全体のオブジェクトとそのレイヤーを指定します。モデルは、複数の移動オブジェクトを効果的に検出し、相互の閉塞を処理できます。次に、レイヤー構成を介してマルチオブジェクトの合成トレーニング データを生成するためのスケーラブルなパイプラインを導入します。これは、提案されたモデルをトレーニングするために使用され、労力のかかる注釈の要件を大幅に削減し、Sim2Real の一般化をサポートします。第三に、徹底的なアブレーション研究を実施し、モデルがオブジェクトの永続性と時間的形状の一貫性を学習でき、非モーダル セグメンテーション マスクを予測できることを示します。第 4 に、標準のビデオ セグメンテーション ベンチマークである DAVIS、MoCA、SegTrack、FBMS-59 で、合成データのみでトレーニングされたモデルを評価し、手動の注釈に依存しない既存の方法の中で最先端のパフォーマンスを達成します。 .テスト時間の適応により、さらなるパフォーマンスの向上が見られます。
The objective of this paper is a model that is able to discover, track and segment multiple moving objects in a video. We make four contributions: First, we introduce an object-centric segmentation model with a depth-ordered layer representation. This is implemented using a variant of the transformer architecture that ingests optical flow, where each query vector specifies an object and its layer for the entire video. The model can effectively discover multiple moving objects and handle mutual occlusions; Second, we introduce a scalable pipeline for generating multi-object synthetic training data via layer compositions, that is used to train the proposed model, significantly reducing the requirements for labour-intensive annotations, and supporting Sim2Real generalisation; Third, we conduct thorough ablation studies, showing that the model is able to learn object permanence and temporal shape consistency, and is able to predict amodal segmentation masks; Fourth, we evaluate our model, trained only on synthetic data, on standard video segmentation benchmarks, DAVIS, MoCA, SegTrack, FBMS-59, and achieve state-of-the-art performance among existing methods that do not rely on any manual annotations. With test-time adaptation, we observe further performance boosts.
updated: Sat Nov 12 2022 20:53:16 GMT+0000 (UTC)
published: Tue Jul 05 2022 17:59:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト