arXiv reaDer
Learning Where to Focus for Efficient Video Object Detection
既存の画像ベースの検出器をビデオに転送することは重要です。フレームの品質は、パーツのオクルージョン、まれなポーズ、モーションブラーによって常に低下するためです。以前のアプローチは、オプティカルフローワーピングを使用してビデオフレーム全体に機能を伝播および集約するために利用されていました。ただし、画像レベルのオプティカルフローを高レベルのフィーチャに直接適用しても、正確な空間対応が確立されない場合があります。したがって、学習可能な時空間サンプリング(LSTS)と呼ばれる新しいモジュールが、隣接するフレームの特徴間の意味レベルの対応を正確に学習するために提案されました。サンプリングされた場所は、最初にランダムに初期化され、次に繰り返し更新されて、検出の監視によって段階的に導かれるより良い空間対応を見つけます。さらに、時間的関係をモデル化し、フレームごとの機能を強化するために、疎再帰的機能更新(SRFU)モジュールと高密度機能集約(DFA)モジュールもそれぞれ導入されています。提案された方法は、ベルとホイッスルなしで、ImageNet VIDデータセットで最先端のパフォーマンスをより少ない計算の複雑さとリアルタイムの速度で実現します。コードはで利用できるようになります。
Transferring existing image-based detectors to the video is non-trivial since the quality of frames is always deteriorated by part occlusion, rare pose, and motion blur. Previous approaches exploit to propagate and aggregate features across video frames by using optical flow-warping. However, directly applying image-level optical flow onto the high-level features might not establish accurate spatial correspondences. Therefore, a novel module called Learnable Spatio-Temporal Sampling (LSTS) has been proposed to learn semantic-level correspondences among adjacent frame features accurately. The sampled locations are first randomly initialized, then updated iteratively to find better spatial correspondences guided by detection supervision progressively. Besides, Sparsely Recursive Feature Updating (SRFU) module and Dense Feature Aggregation (DFA) module are also introduced to model temporal relations and enhance per-frame features, respectively. Without bells and whistles, the proposed method achieves state-of-the-art performance on the ImageNet VID dataset with less computational complexity and real-time speed. Code will be made available at
updated: Thu Jul 16 2020 11:46:16 GMT+0000 (UTC)
published: Wed Nov 13 2019 02:17:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト