COCOなどのベンチマークは、オブジェクトの検出において重要な役割を果たします。ただし、既存のベンチマークはスケールの変動が不十分であり、それらのプロトコルは公正な比較には不十分です。本稿では、ユニバーサルスケールの物体検出ベンチマーク(USB)を紹介します。 USBは、最近提案されたWaymo Open DatasetおよびManga109-sデータセットにCOCOを組み込むことにより、オブジェクトのスケールと画像ドメインにバリエーションがあります。公正な比較と包括的研究を可能にするために、トレーニングと評価のプロトコルを提案します。スポーツのウェイトクラスなどのトレーニングエポックと評価画像の解像度、およびユニバーサルシリアルバスの下位互換性などのトレーニングプロトコル間の互換性のために、複数の部門があります。具体的には、参加者に、より高いプロトコル(より長いトレーニング)だけでなく、より低いプロトコル(より短いトレーニング)での結果を報告するように要求します。提案されたベンチマークとプロトコルを使用して、8つの方法を分析し、既存のCOCOバイアス方法の弱点を見つけました。コードはhttps://github.com/shinya7y/UniverseNetで入手できます。
Benchmarks, such as COCO, play a crucial role in object detection. However, existing benchmarks are insufficient in scale variation, and their protocols are inadequate for fair comparison. In this paper, we introduce the Universal-Scale object detection Benchmark (USB). USB has variations in object scales and image domains by incorporating COCO with the recently proposed Waymo Open Dataset and Manga109-s dataset. To enable fair comparison and inclusive research, we propose training and evaluation protocols. They have multiple divisions for training epochs and evaluation image resolutions, like weight classes in sports, and compatibility across training protocols, like the backward compatibility of the Universal Serial Bus. Specifically, we request participants to report results with not only higher protocols (longer training) but also lower protocols (shorter training). Using the proposed benchmark and protocols, we analyzed eight methods and found weaknesses of existing COCO-biased methods. The code is available at https://github.com/shinya7y/UniverseNet .