arXiv reaDer
時空間知識蒸留による高速ビデオ顕著な物体検出
Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation
ビデオの顕著なオブジェクトの検出にディープラーニングフレームワークが広く採用されて以来、最近のアプローチの精度は驚くべき進歩を遂げました。これらのアプローチは、主にオプティカルフローまたはリカレントニューラルネットワーク(RNN)に基づくシーケンシャルモジュールを採用して、堅牢な時空間特徴を学習します。これらのモジュールは効果的ですが、対応するディープモデルの計算負荷が大幅に増加します。この論文では、ネットワークを単純化し、精度を維持するために、時空間知識蒸留によるビデオ顕著なオブジェクト検出用に調整された軽量ネットワークを提示します。具体的には、空間的側面では、顕著性ガイダンス機能の埋め込み構造と空間的知識の蒸留を組み合わせて、空間的機能を改良します。時間的側面では、時間的知識蒸留戦略を提案します。これにより、ネットワークは、隣接するフレームから情報をエンコードおよび抽出する推論フレーム特徴を通じて、ロバストな時間的特徴を学習できます。広く使用されているビデオデータセット(DAVIS、DAVSOD、SegTrack-V2など)での実験は、私たちのアプローチが競争力のあるパフォーマンスを達成していることを証明しています。さらに、複雑なシーケンシャルモジュールを使用せずに、提案されたネットワークはフレームあたり0.01秒で高効率を得ることができます。
Since the wide employment of deep learning frameworks in video salient object detection, the accuracy of the recent approaches has made stunning progress. These approaches mainly adopt the sequential modules, based on optical flow or recurrent neural network (RNN), to learn robust spatiotemporal features. These modules are effective but significantly increase the computational burden of the corresponding deep models. In this paper, to simplify the network and maintain the accuracy, we present a lightweight network tailored for video salient object detection through the spatiotemporal knowledge distillation. Specifically, in the spatial aspect, we combine a saliency guidance feature embedding structure and spatial knowledge distillation to refine the spatial features. In the temporal aspect, we propose a temporal knowledge distillation strategy, which allows the network to learn the robust temporal features through the infer-frame feature encoding and distilling information from adjacent frames. The experiments on widely used video datasets (e.g., DAVIS, DAVSOD, SegTrack-V2) prove that our approach achieves competitive performance. Furthermore, without the employment of the complex sequential modules, the proposed network can obtain high efficiency with 0.01s per frame.
updated: Wed Mar 17 2021 09:51:51 GMT+0000 (UTC)
published: Tue Oct 20 2020 04:48:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト