相互作用からマスクおよびマスク伝搬を分離し、より高い一般化可能性とより優れたパフォーマンスを可能にするモジュラーインタラクティブVOS(MiVOS)フレームワークを紹介します。個別にトレーニングされたインタラクションモジュールは、ユーザーインタラクションをオブジェクトマスクに変換します。オブジェクトマスクは、時空間メモリの読み取りに新しいtop-kフィルタリング戦略を使用して、伝播モジュールによって一時的に伝播されます。ユーザーの意図を効果的に考慮に入れるために、時空間メモリを使用することによってターゲットフレームと位置合わせされる各インタラクションの前後にマスクを適切に融合する方法を学習するための新しい差異認識モジュールが提案されます。 DAVISでのさまざまな形式のユーザーインタラクション(落書き、クリックなど)を使用して、メソッドを定性的および定量的に評価し、フレームインタラクションが少なくて済む一方で、メソッドが現在の最先端のアルゴリズムよりも優れていることを示します。さまざまなタイプのユーザーインタラクションに。将来の研究を容易にするために、ソースコードに付随する480万フレームのピクセル精度のセグメンテーションを備えた大規模な合成VOSデータセットを提供します。
We present Modular interactive VOS (MiVOS) framework which decouples interaction-to-mask and mask propagation, allowing for higher generalizability and better performance. Trained separately, the interaction module converts user interactions to an object mask, which is then temporally propagated by our propagation module using a novel top-k filtering strategy in reading the space-time memory. To effectively take the user's intent into account, a novel difference-aware module is proposed to learn how to properly fuse the masks before and after each interaction, which are aligned with the target frames by employing the space-time memory. We evaluate our method both qualitatively and quantitatively with different forms of user interactions (e.g., scribbles, clicks) on DAVIS to show that our method outperforms current state-of-the-art algorithms while requiring fewer frame interactions, with the additional advantage in generalizing to different types of user interactions. We contribute a large-scale synthetic VOS dataset with pixel-accurate segmentation of 4.8M frames to accompany our source codes to facilitate future research.