視覚的検出タスクのパフォーマンス指標として広く使用されているにもかかわらず、平均精度(AP)は、(i)ローカリゼーションの品質の反映、(ii)解釈可能性、(iii)計算に関する設計選択の堅牢性、および出力への適用性に制限があります。信頼スコアなし。パノプティコンセグメンテーションを評価するために提案された尺度であるパノプティコン品質(PQ)(Kirillov et al。、2019)は、これらの制限を受けませんが、パノプティコンセグメンテーションに限定されます。この論文では、特定の信頼スコアしきい値に対するローカリゼーションと分類の両方の品質に基づいて計算された視覚検出器の平均マッチングエラーとして、ローカリゼーション再現率(LRP)エラーを提案します。 LRPエラー。当初はOksuzらによってオブジェクト検出のためにのみ提案されました。 (2018)、前述の制限に悩まされることはなく、すべての視覚的検出タスクに適用できます。また、視覚検出器を評価し、展開に最適なしきい値を取得するために、信頼スコアに対して取得された最小LRPエラーとして最適LRP(oLRP)エラーを紹介します。 APおよびPQを使用したLRPエラーの詳細な比較分析を提供し、7つの視覚的検出タスク(オブジェクト検出、キーポイント検出、インスタンスセグメンテーション、パノラマセグメンテーション、視覚的関係検出、ゼロショット検出および一般化されたゼロショット検出)10個のデータセットを使用して、LRPエラーが対応するものよりも豊富で識別力のある情報を提供することを経験的に示します。コードはhttps://github.com/kemaloksuz/LRPで入手できます-エラー
Despite being widely used as a performance measure for visual detection tasks, Average Precision (AP) is limited in (i) reflecting localisation quality, (ii) interpretability and (iii) robustness to the design choices regarding its computation, and its applicability to outputs without confidence scores. Panoptic Quality (PQ), a measure proposed for evaluating panoptic segmentation (Kirillov et al., 2019), does not suffer from these limitations but is limited to panoptic segmentation. In this paper, we propose Localisation Recall Precision (LRP) Error as the average matching error of a visual detector computed based on both its localisation and classification qualities for a given confidence score threshold. LRP Error, initially proposed only for object detection by Oksuz et al. (2018), does not suffer from the aforementioned limitations and is applicable to all visual detection tasks. We also introduce Optimal LRP (oLRP) Error as the minimum LRP Error obtained over confidence scores to evaluate visual detectors and obtain optimal thresholds for deployment. We provide a detailed comparative analysis of LRP Error with AP and PQ, and use nearly 100 state-of-the-art visual detectors from seven visual detection tasks (i.e. object detection, keypoint detection, instance segmentation, panoptic segmentation, visual relationship detection, zero-shot detection and generalised zero-shot detection) using ten datasets to empirically show that LRP Error provides richer and more discriminative information than its counterparts. Code available at: https://github.com/kemaloksuz/LRP-Error