arXiv reaDer
ゼロショットビデオオブジェクトセグメンテーションのための共注意伝播ネットワーク
Co-attention Propagation Network for Zero-Shot Video Object Segmentation
ゼロ ショット ビデオ オブジェクト セグメンテーション (ZS-VOS) は、これらのオブジェクトを事前に知らなくても、ビデオ シーケンス内の前景オブジェクトをセグメント化することを目的としています。ただし、既存の ZS-VOS メソッドでは、フォアグラウンドとバックグラウンドを区別したり、複雑なシナリオでフォアグラウンドを追跡したりするのに苦労することがよくあります。オプティカル フローなどのモーション情報を導入する一般的な方法は、オプティカル フローの推定に過度に依存する可能性があります。これらの課題に対処するために、オブジェクトの追跡とセグメント化が可能なエンコーダー/デコーダー ベースの階層型共注意伝搬ネットワーク (HCPN) を提案します。具体的には、私たちのモデルは、並列共注意モジュール (PCM) とクロス共注意モジュール (CCM) の複数の共同進化に基づいて構築されています。 PCM は、隣接する外観とモーション機能の間で共通の前景領域をキャプチャしますが、CCM は、PCM によって返されるクロスモーダル モーション機能をさらに活用して融合します。私たちの方法は、ビデオ全体で階層的な時空間機能の伝播を達成するように段階的にトレーニングされています。実験結果は、私たちの HCPN が公開ベンチマークで以前のすべての方法よりも優れていることを示しており、ZS-VOS に対するその有効性を示しています。
Zero-shot video object segmentation (ZS-VOS) aims to segment foreground objects in a video sequence without prior knowledge of these objects. However, existing ZS-VOS methods often struggle to distinguish between foreground and background or to keep track of the foreground in complex scenarios. The common practice of introducing motion information, such as optical flow, can lead to overreliance on optical flow estimation. To address these challenges, we propose an encoder-decoder-based hierarchical co-attention propagation network (HCPN) capable of tracking and segmenting objects. Specifically, our model is built upon multiple collaborative evolutions of the parallel co-attention module (PCM) and the cross co-attention module (CCM). PCM captures common foreground regions among adjacent appearance and motion features, while CCM further exploits and fuses cross-modal motion features returned by PCM. Our method is progressively trained to achieve hierarchical spatio-temporal feature propagation across the entire video. Experimental results demonstrate that our HCPN outperforms all previous methods on public benchmarks, showcasing its effectiveness for ZS-VOS.
updated: Sat Apr 08 2023 04:45:48 GMT+0000 (UTC)
published: Sat Apr 08 2023 04:45:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト