画像ベースのオブジェクト検出器をビデオのドメインに転送することは、リソースの制約の下で依然として困難です。これまでの取り組みでは、オプティカルフローを利用して変更されていない機能を伝播できるようにしましたが、監視などのアプリケーションから非常にゆっくりと変化するシーンを処理する場合、オーバーヘッドがかなり大きくなります。この論文では、フレームごとのビデオオブジェクト検出の計算の複雑さを軽減するために、一時的な早期終了を提案します。連続するフレーム間のセマンティックの違いを識別するために、バックボーンネットワークの初期層に、計算オーバーヘッドが低い複数の一時的な早期終了モジュールが挿入されます。完全な計算が必要になるのは、フレームが前のフレームに意味的な変更があると識別された場合のみです。それ以外の場合は、前のフレームからの検出結果が再利用されます。 CDnetでの実験は、私たちの方法が、mAPで2.2%の許容可能な削減で、既存の方法と比較して、計算の複雑さとフレームごとのビデオオブジェクト検出の実行を最大34倍大幅に削減することを示しています。
Transferring image-based object detectors to the domain of video remains challenging under resource constraints. Previous efforts utilised optical flow to allow unchanged features to be propagated, however, the overhead is considerable when working with very slowly changing scenes from applications such as surveillance. In this paper, we propose temporal early exits to reduce the computational complexity of per-frame video object detection. Multiple temporal early exit modules with low computational overhead are inserted at early layers of the backbone network to identify the semantic differences between consecutive frames. Full computation is only required if the frame is identified as having a semantic change to previous frames; otherwise, detection results from previous frames are reused. Experiments on CDnet show that our method significantly reduces the computational complexity and execution of per-frame video object detection up to 34 × compared to existing methods with an acceptable reduction of 2.2% in mAP.