arXiv reaDer
Anchor Diffusion for Unsupervised Video Object Segmentation
  監視されていないビデオオブジェクトのセグメンテーションは、リカレントニューラルネットワークとオプティカルフローに基づく方法によってしばしば対処されています。これらの種類のアプローチは、複雑ではありますが、短期的な一時的な依存関係を優先する傾向があるため、時間の経過とともにドリフトを引き起こす不正確さを蓄積する傾向があります。さらに、単純な(静的な)画像セグメンテーションモデルだけで、これらの方法に対して競争力があります。これは、時間依存性のモデル化方法を再検討する必要があることをさらに示唆しています。これらの観察に動機付けられて、本書では、長期的時間依存性をモデル化するためのシンプルかつ効果的な戦略を検討します。 [70]の非局所演算子に触発されて、参照「アンカー」フレームと現在のフレームのピクセル埋め込みの間の密な対応を確立する手法を紹介します。これにより、中間フレームを調整せずに、任意の長距離でペアワイズ依存関係を学習できます。オンライン監視なしで、私たちのアプローチは、時間をかけて一貫したパフォーマンスを維持しながら、背景を抑制し、困難なシナリオでも前景オブジェクトを正確にセグメント化できます。平均IoUは$ 81.7 \%$であり、このメソッドは、教師なしメソッドのDAVIS-2016リーダーボードで第1位にランク付けされていますが、最先端のオンライン半教師ありアプローチに対しても競争力があります。 FBMSデータセットとViSalビデオ顕著性データセットでメソッドをさらに評価し、最新技術と競合する結果を示しています。
Unsupervised video object segmentation has often been tackled by methods based on recurrent neural networks and optical flow. Despite their complexity, these kinds of approaches tend to favour short-term temporal dependencies and are thus prone to accumulating inaccuracies, which cause drift over time. Moreover, simple (static) image segmentation models, alone, can perform competitively against these methods, which further suggests that the way temporal dependencies are modelled should be reconsidered. Motivated by these observations, in this paper we explore simple yet effective strategies to model long-term temporal dependencies. Inspired by the non-local operators of [70], we introduce a technique to establish dense correspondences between pixel embeddings of a reference "anchor" frame and the current one. This allows the learning of pairwise dependencies at arbitrarily long distances without conditioning on intermediate frames. Without online supervision, our approach can suppress the background and precisely segment the foreground object even in challenging scenarios, while maintaining consistent performance over time. With a mean IoU of $81.7\%$, our method ranks first on the DAVIS-2016 leaderboard of unsupervised methods, while still being competitive against state-of-the-art online semi-supervised approaches. We further evaluate our method on the FBMS dataset and the ViSal video saliency dataset, showing results competitive with the state of the art.
updated: Thu Oct 24 2019 03:10:07 GMT+0000 (UTC)
published: Thu Oct 24 2019 03:10:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト