ディープラーニングによる一般的なオブジェクト検出は過去数年間で大きな成功を収めていますが、小さなオブジェクトを検出するパフォーマンスと効率は決して満足できるものではありません。小さな物体の検出を促進するための最も一般的で効果的な方法は、高解像度の画像または特徴マップを使用することです。ただし、どちらのアプローチも、画像と特徴のサイズが大きくなるにつれて計算コストが正直に増加するため、コストのかかる計算を引き起こします。 2つの世界を最大限に活用するために、新しいクエリメカニズムを使用して特徴ピラミッドベースのオブジェクト検出器の推論速度を加速するQueryDetを提案します。パイプラインは2つのステップで構成されます。最初に低解像度のフィーチャ上の小さなオブジェクトの粗い位置を予測し、次にそれらの粗い位置によってまばらに導かれる高解像度のフィーチャを使用して正確な検出結果を計算します。このようにして、高解像度の特徴マップの利点を活用できるだけでなく、背景領域の無駄な計算を回避することもできます。人気のあるCOCOデータセットでは、提案された方法により、検出mAPが1.0向上し、mAP-smallが2.0向上し、高解像度の推論速度が平均3.0倍に向上します。より小さなオブジェクトを含むVisDroneデータセットで、平均2.3倍の高解像度アクセラレーションを実現しながら、新しい最先端のデータセットを作成します。コードはhttps://github.com/ChenhongyiYang/QueryDet-PyTorchで入手できます。
While general object detection with deep learning has achieved great success in the past few years, the performance and efficiency of detecting small objects are far from satisfactory. The most common and effective way to promote small object detection is to use high-resolution images or feature maps. However, both approaches induce costly computation since the computational cost grows squarely as the size of images and features increases. To get the best of two worlds, we propose QueryDet that uses a novel query mechanism to accelerate the inference speed of feature-pyramid based object detectors. The pipeline composes two steps: it first predicts the coarse locations of small objects on low-resolution features and then computes the accurate detection results using high-resolution features sparsely guided by those coarse positions. In this way, we can not only harvest the benefit of high-resolution feature maps but also avoid useless computation for the background area. On the popular COCO dataset, the proposed method improves the detection mAP by 1.0 and mAP-small by 2.0, and the high-resolution inference speed is improved to 3.0x on average. On VisDrone dataset, which contains more small objects, we create a new state-of-the-art while gaining a 2.3x high-resolution acceleration on average. Code is available at: https://github.com/ChenhongyiYang/QueryDet-PyTorch