群集内の個人をローカライズすることは、単に数えることよりも、その後の高レベルの群集分析タスクの実際的な要求に一致します。ただし、学習ターゲットとして機能する中間表現(つまり、密度マップまたは疑似ボックス)に依存する既存のローカリゼーションベースの方法は、直感に反し、エラーが発生しやすくなります。この論文では、共同群集カウントと個々のローカリゼーションのための純粋にポイントベースのフレームワークを提案します。このフレームワークでは、単に画像レベルで絶対カウントエラーを報告するのではなく、密度正規化平均精度(nAP)と呼ばれる新しいメトリックを提案して、より包括的でより正確なパフォーマンス評価を提供します。さらに、このフレームワークの下で、ポイントツーポイントネットワーク(P2PNet)と呼ばれる直感的なソリューションを設計します。 P2PNetは余分なステップを破棄し、人間の注釈結果と一致して、画像内の頭部を表す一連のポイント提案を直接予測します。徹底的な分析により、このような斬新なアイデアを実装するための重要なステップは、これらの提案に最適な学習目標を割り当てることであることが明らかになります。したがって、ハンガリーのアルゴリズムを使用して、この重要な関連付けを1対1のマッチング方法で実行することを提案します。 P2PNetは、一般的なカウントベンチマークで最先端の方法を大幅に上回っているだけでなく、有望なローカリゼーション精度も実現しています。コードはhttps://github.com/TencentYoutuResearch/CrowdCounting-P2PNetで入手できます。
Localizing individuals in crowds is more in accordance with the practical demands of subsequent high-level crowd analysis tasks than simply counting. However, existing localization based methods relying on intermediate representations (i.e., density maps or pseudo boxes) serving as learning targets are counter-intuitive and error-prone. In this paper, we propose a purely point-based framework for joint crowd counting and individual localization. For this framework, instead of merely reporting the absolute counting error at image level, we propose a new metric, called density Normalized Average Precision (nAP), to provide more comprehensive and more precise performance evaluation. Moreover, we design an intuitive solution under this framework, which is called Point to Point Network (P2PNet). P2PNet discards superfluous steps and directly predicts a set of point proposals to represent heads in an image, being consistent with the human annotation results. By thorough analysis, we reveal the key step towards implementing such a novel idea is to assign optimal learning targets for these proposals. Therefore, we propose to conduct this crucial association in an one-to-one matching manner using the Hungarian algorithm. The P2PNet not only significantly surpasses state-of-the-art methods on popular counting benchmarks, but also achieves promising localization accuracy. The codes will be available at: https://github.com/TencentYoutuResearch/CrowdCounting-P2PNet.