arXiv reaDer
CapsuleVOS:Capsule Routingを使用した半監視ビデオオブジェクトのセグメンテーション
CapsuleVOS: Semi-Supervised Video Object Segmentation Using Capsule Routing
  この作業では、半教師付きビデオオブジェクトセグメンテーションのためのカプセルベースのアプローチを提案します。現在のビデオオブジェクトのセグメンテーション方法はフレームベースであり、多くの場合、計算が困難なフレーム全体の時間的一貫性をキャプチャするためにオプティカルフローが必要です。この目的のために、参照フレームとセグメンテーションマスクで条件付けられた複数のフレームを一度にセグメント化できる、ビデオベースのカプセルネットワークCapsuleVOSを提案します。この条件付けは、注意に基づいた効率的なカプセル選択のための新しいルーティングアルゴリズムを介して実行されます。ビデオオブジェクトのセグメンテーションにおける2つの課題に対処します。1)小さなオブジェクトのセグメンテーションと2)経時的なオブジェクトのオクルージョン。小さなオブジェクトをセグメント化する問題は、ネットワークがビデオの小さな空間領域を処理できるようにするズームモジュールで対処されます。これとは別に、フレームワークは、リカレントネットワークに基づく新しいメモリモジュールを利用します。これは、オブジェクトがフレーム外に移動したり、オクルードされたときにオブジェクトを追跡するのに役立ちます。ネットワークはエンドツーエンドでトレーニングされ、2つのベンチマークビデオオブジェクトセグメンテーションデータセットでその有効性を実証します。 Youtube-VOSデータセットでの現在のオフラインアプローチよりも優れていますが、ランタイムは競合メソッドのほぼ2倍です。コードはで公開されています。
In this work we propose a capsule-based approach for semi-supervised video object segmentation. Current video object segmentation methods are frame-based and often require optical flow to capture temporal consistency across frames which can be difficult to compute. To this end, we propose a video based capsule network, CapsuleVOS, which can segment several frames at once conditioned on a reference frame and segmentation mask. This conditioning is performed through a novel routing algorithm for attention-based efficient capsule selection. We address two challenging issues in video object segmentation: 1) segmentation of small objects and 2) occlusion of objects across time. The issue of segmenting small objects is addressed with a zooming module which allows the network to process small spatial regions of the video. Apart from this, the framework utilizes a novel memory module based on recurrent networks which helps in tracking objects when they move out of frame or are occluded. The network is trained end-to-end and we demonstrate its effectiveness on two benchmark video object segmentation datasets; it outperforms current offline approaches on the Youtube-VOS dataset while having a run-time that is almost twice as fast as competing methods. The code is publicly available at
updated: Mon Sep 30 2019 22:12:43 GMT+0000 (UTC)
published: Mon Sep 30 2019 22:12:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト