非最大抑制(NMS)は、オブジェクト検出のための最新の畳み込みニューラルネットワークにおける重要な後処理ステップです。本質的に並列である畳み込みとは異なり、NMSのデファクトスタンダードであるGreedyNMSは簡単に並列化できないため、畳み込みオブジェクト検出パイプラインのパフォーマンスのボトルネックになる可能性があります。 MaxpoolNMSは、GreedyNMSの並列化可能な代替手段として導入されました。これにより、同等の精度でGreedyNMSよりも高速になります。ただし、MaxpoolNMSは、Faster-RCNNのような2ステージ検出器の最初のステージでのみGreedyNMSを置き換えることができます。 MaxpoolNMSがバウンディングボックスの選択に関してGreedyNMSを正確に近似できないため、最終検出段階でMaxpoolNMSを適用すると精度が大幅に低下します。この論文では、すべての検出器のすべての段階でGreedyNMSを完全に置き換えるために、一般的で並列化可能で構成可能なアプローチPSRR-MaxpoolNMSを提案します。単純なRelationshipRecoveryモジュールとPyramidShifted MaxpoolNMSモジュールを導入することにより、PSRR-MaxpoolNMSはMaxpoolNMSよりも正確にGreedyNMSを近似することができます。包括的な実験により、私たちのアプローチはMaxpoolNMSを大幅に上回っており、GreedyNMSよりも高速で同等の精度であることが証明されています。 PSRR-MaxpoolNMSは、カスタマイズされたハードウェア設計のための完全に並列化可能なソリューションを初めて提供します。これは、あらゆる場所でNMSを高速化するために再利用できます。
Non-maximum Suppression (NMS) is an essential postprocessing step in modern convolutional neural networks for object detection. Unlike convolutions which are inherently parallel, the de-facto standard for NMS, namely GreedyNMS, cannot be easily parallelized and thus could be the performance bottleneck in convolutional object detection pipelines. MaxpoolNMS is introduced as a parallelizable alternative to GreedyNMS, which in turn enables faster speed than GreedyNMS at comparable accuracy. However, MaxpoolNMS is only capable of replacing the GreedyNMS at the first stage of two-stage detectors like Faster-RCNN. There is a significant drop in accuracy when applying MaxpoolNMS at the final detection stage, due to the fact that MaxpoolNMS fails to approximate GreedyNMS precisely in terms of bounding box selection. In this paper, we propose a general, parallelizable and configurable approach PSRR-MaxpoolNMS, to completely replace GreedyNMS at all stages in all detectors. By introducing a simple Relationship Recovery module and a Pyramid Shifted MaxpoolNMS module, our PSRR-MaxpoolNMS is able to approximate GreedyNMS more precisely than MaxpoolNMS. Comprehensive experiments show that our approach outperforms MaxpoolNMS by a large margin, and it is proven faster than GreedyNMS with comparable accuracy. For the first time, PSRR-MaxpoolNMS provides a fully parallelizable solution for customized hardware design, which can be reused for accelerating NMS everywhere.