arXiv reaDer
Pack and Detect: Fast Object Detection in Videos Using Region-of-Interest Packing
ビデオ内のオブジェクト検出は、オブジェクトトラッキング、ビデオ要約、ビデオ検索などのさまざまなアプリケーションのコンピュータビジョンにおける重要なタスクです。ディープニューラルネットワークの台頭により、近年、オブジェクト検出の精度の向上に大きな進歩が見られましたが、最先端のアルゴリズムは非常に計算集約的です。この課題に対処するために、ビデオのコンテキストで2つの重要な観察を行います。(i)オブジェクトは各ビデオフレームの領域のごく一部しか占めないことが多く、(ii)間に強い時間的相関がある可能性が高い連続するフレーム。これらの観察に基づいて、ビデオ内のオブジェクト検出の計算要件を軽減するアプローチであるPack and Detect(PaD)を提案します。 PaDでは、アンカーフレームと呼ばれる選択されたビデオフレームのみがフルサイズで処理されます。アンカーフレーム(アンカー間フレーム)の間にあるフレームでは、前のフレームでの検出に基づいて関心領域(ROI)が識別されます。各アンカー間フレームのROIを縮小サイズのフレームにまとめるアルゴリズムを提案します。入力のサイズが小さいため、検出器の計算要件が軽減されます。オブジェクト検出の精度を維持するために、提案されたアルゴリズムはROIを貪欲に拡張して、各オブジェクトの周囲に追加の背景を検出器に提供します。 PaDは、基盤となるニューラルネットワークアーキテクチャを使用して、フルサイズおよび縮小サイズのフレームを処理できます。 ImageNetビデオオブジェクト検出データセットを使用した実験は、PaDがフレームに必要なFLOPSの数を4分の1に減らす可能性があることを示しています。これにより、NVIDIA Titan XGPUを搭載した2.1GHz Intel Xeonサーバーでスループットが全体的に1.25倍に向上しますが、精度は1.1%低下します。
Object detection in videos is an important task in computer vision for various applications such as object tracking, video summarization and video search. Although great progress has been made in improving the accuracy of object detection in recent years due to the rise of deep neural networks, the state-of-the-art algorithms are highly computationally intensive. In order to address this challenge, we make two important observations in the context of videos: (i) Objects often occupy only a small fraction of the area in each video frame, and (ii) There is a high likelihood of strong temporal correlation between consecutive frames. Based on these observations, we propose Pack and Detect (PaD), an approach to reduce the computational requirements of object detection in videos. In PaD, only selected video frames called anchor frames are processed at full size. In the frames that lie between anchor frames (inter-anchor frames), regions of interest (ROIs) are identified based on the detections in the previous frame. We propose an algorithm to pack the ROIs of each inter-anchor frame together into a reduced-size frame. The computational requirements of the detector are reduced due to the lower size of the input. In order to maintain the accuracy of object detection, the proposed algorithm expands the ROIs greedily to provide additional background around each object to the detector. PaD can use any underlying neural network architecture to process the full-size and reduced-size frames. Experiments using the ImageNet video object detection dataset indicate that PaD can potentially reduce the number of FLOPS required for a frame by 4×. This leads to an overall increase in throughput of 1.25× on a 2.1 GHz Intel Xeon server with a NVIDIA Titan X GPU at the cost of 1.1% drop in accuracy.
updated: Mon Mar 22 2021 04:44:14 GMT+0000 (UTC)
published: Wed Sep 05 2018 19:29:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト