arXiv reaDer
ゼロショットビデオオブジェクトセグメンテーションのためのマルチソースフュージョンと自動予測子選択
Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation
場所と外観は、ビデオオブジェクトのセグメンテーションの重要な手がかりです。 RGB、深度、オプティカルフロー、静的顕著性などの多くのソースは、オブジェクトに関する有用な情報を提供できます。ただし、既存のアプローチでは、RGBまたはRGBとオプティカルフローのみを使用します。本論文では、ゼロショットビデオオブジェクトセグメンテーションのための新しいマルチソース融合ネットワークを提案する。インターセプティブ空間注意モジュール(ISAM)の助けを借りて、各ソースの空間的重要性が強調されています。さらに、ソース間で互換性のない機能をフィルタリングする機能精製モジュール(FPM)を設計します。 ISAMとFPMにより、マルチソース機能が効果的に融合されます。さらに、自動予測子選択ネットワーク(APS)を提案して、静的顕著性予測子または移動物体予測子のいずれかのより良い予測を選択し、低品質のオプティカルフローマップによって引き起こされる失敗した結果への過度の依存を防ぎます。 3つの挑戦的な公開ベンチマーク(つまり、DAVIS_16、Youtube-Objects、およびFBMS)での広範な実験は、提案されたモデルが最先端に対して説得力のあるパフォーマンスを達成することを示しています。ソースコードはredhttps://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOSで公開されます。
Location and appearance are the key cues for video object segmentation. Many sources such as RGB, depth, optical flow and static saliency can provide useful information about the objects. However, existing approaches only utilize the RGB or RGB and optical flow. In this paper, we propose a novel multi-source fusion network for zero-shot video object segmentation. With the help of interoceptive spatial attention module (ISAM), spatial importance of each source is highlighted. Furthermore, we design a feature purification module (FPM) to filter the inter-source incompatible features. By the ISAM and FPM, the multi-source features are effectively fused. In addition, we put forward an automatic predictor selection network (APS) to select the better prediction of either the static saliency predictor or the moving object predictor in order to prevent over-reliance on the failed results caused by low-quality optical flow maps. Extensive experiments on three challenging public benchmarks (i.e. DAVIS_16, Youtube-Objects and FBMS) show that the proposed model achieves compelling performance against the state-of-the-arts. The source code will be publicly available at redhttps://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOS.
updated: Wed Aug 11 2021 07:37:44 GMT+0000 (UTC)
published: Wed Aug 11 2021 07:37:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト