画像内のオブジェクトを検出するための純粋にスパースな方法であるスパースR-CNNを紹介します。オブジェクト検出に関する既存の作業は、サイズH×Wの画像特徴マップのすべてのグリッドで事前定義されたk個のアンカーボックスなど、高密度のオブジェクト候補に大きく依存しています。しかしながら、我々の方法では、分類と位置を実行するために、学習されたオブジェクト提案の固定されたまばらなセット、全長Nがオブジェクト認識ヘッドに提供されます。 Sparse R-CNNは、HWk(最大数十万)の手動で設計されたオブジェクト候補をN(たとえば、100)の学習可能な提案から排除することにより、オブジェクト候補の設計と多対1のラベル割り当てに関連するすべての作業を完全に回避します。さらに重要なことに、最終的な予測は、手順後の非最大抑制なしで直接出力されます。スパースR-CNNは、困難なCOCOデータセットで確立された検出器ベースラインと同等の精度、実行時間、トレーニング収束パフォーマンスを示します。たとえば、標準の3倍のトレーニングスケジュールで45.0 APを達成し、ResNet-50FPNを使用して22fpsで実行します。モデル。私たちの仕事が、オブジェクト検出器の高密度事前の慣習を再考するきっかけとなることを願っています。コードはhttps://github.com/PeizeSun/SparseR-CNNで入手できます。
We present Sparse R-CNN, a purely sparse method for object detection in images. Existing works on object detection heavily rely on dense object candidates, such as k anchor boxes pre-defined on all grids of image feature map of size H×W. In our method, however, a fixed sparse set of learned object proposals, total length of N, are provided to object recognition head to perform classification and location. By eliminating HWk (up to hundreds of thousands) hand-designed object candidates to N (e.g. 100) learnable proposals, Sparse R-CNN completely avoids all efforts related to object candidates design and many-to-one label assignment. More importantly, final predictions are directly output without non-maximum suppression post-procedure. Sparse R-CNN demonstrates accuracy, run-time and training convergence performance on par with the well-established detector baselines on the challenging COCO dataset, e.g., achieving 45.0 AP in standard 3× training schedule and running at 22 fps using ResNet-50 FPN model. We hope our work could inspire re-thinking the convention of dense prior in object detectors. The code is available at: https://github.com/PeizeSun/SparseR-CNN.