arXiv reaDer
DS-Net:ビデオ顕著なオブジェクト検出のための動的時空間ネットワーク
DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection
動く物体は常に人間の目をより注意を引くので、時間的動機情報は常に空間情報と補完的に利用されて、ビデオ内の顕著な物体を検出します。一時的な動機情報を抽出するためにオプティカルフローなどの効率的なツールが提案されていますが、カメラの動きや顕著な物体の部分的な動きのために、顕著性の検出に使用すると困難に直面することがよくあります。本論文では、空間的および時間的情報の補完的な役割を調査し、時空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DS-Net)を提案します。対称的な2バイパスネットワークを構築して、空間的および時間的特徴を明示的に抽出します。動的重みジェネレータ(DWG)は、対応する顕著性ブランチの信頼性を自動的に学習するように設計されています。また、トップダウンのクロスアテンティブアグリゲーション(CAA)手順は、時空間特徴の動的な補完的アグリゲーションを容易にするように設計されています。最後に、特徴は、粗い顕著性マップのガイダンスを使用して空間的注意によって変更され、最終的な顕著性マップのためにデコーダー部分を通過します。 5つのベンチマークVOS、DAVIS、FBMS、SegTrack-v2、およびViSalの実験結果は、提案された方法が最先端のアルゴリズムよりも優れたパフォーマンスを達成することを示しています。ソースコードはhttps://github.com/TJUMMG/DS-Netで入手できます。
As moving objects always draw more attention of human eyes, the temporal motive information is always exploited complementarily with spatial information to detect salient objects in videos. Although efficient tools such as optical flow have been proposed to extract temporal motive information, it often encounters difficulties when used for saliency detection due to the movement of camera or the partial movement of salient objects. In this paper, we investigate the complimentary roles of spatial and temporal information and propose a novel dynamic spatiotemporal network (DS-Net) for more effective fusion of spatiotemporal information. We construct a symmetric two-bypass network to explicitly extract spatial and temporal features. A dynamic weight generator (DWG) is designed to automatically learn the reliability of corresponding saliency branch. And a top-down cross attentive aggregation (CAA) procedure is designed so as to facilitate dynamic complementary aggregation of spatiotemporal features. Finally, the features are modified by spatial attention with the guidance of coarse saliency map and then go through decoder part for final saliency map. Experimental results on five benchmarks VOS, DAVIS, FBMS, SegTrack-v2, and ViSal demonstrate that the proposed method achieves superior performance than state-of-the-art algorithms. The source code is available at https://github.com/TJUMMG/DS-Net.
updated: Wed Dec 09 2020 06:42:30 GMT+0000 (UTC)
published: Wed Dec 09 2020 06:42:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト