オブジェクト検出とインスタンスセグメンテーションのバニラモデルは、ロングテール設定で頻繁なオブジェクトを検出することに大きな偏りがあります。既存の方法は、主にトレーニング中にこの問題に対処します。たとえば、リサンプリングや再重み付けを行います。このホワイトペーパーでは、ほとんど見過ごされてきたアプローチ、つまり信頼スコアの後処理キャリブレーションについて調査します。 NorCal、ロングテールオブジェクト検出とインスタンスセグメンテーションのための正規化されたキャリブレーションを提案します。これは、トレーニングサンプルサイズによって各クラスの予測スコアを再重み付けするシンプルでわかりやすいレシピです。バックグラウンドクラスを個別に処理し、各提案のクラス全体でスコアを正規化することが、優れたパフォーマンスを達成するための鍵であることを示します。 LVISデータセットでは、NorCalは、まれなクラスだけでなく、一般的で頻繁なクラスでも、ほぼすべてのベースラインモデルを効果的に改善できます。最後に、広範な分析とアブレーションの研究を実施して、さまざまなモデリングの選択とアプローチのメカニズムに関する洞察を提供します。私たちのコードはhttps://github.com/tydpan/NorCal/で公開されています。
Vanilla models for object detection and instance segmentation suffer from the heavy bias toward detecting frequent objects in the long-tailed setting. Existing methods address this issue mostly during training, e.g., by re-sampling or re-weighting. In this paper, we investigate a largely overlooked approach -- post-processing calibration of confidence scores. We propose NorCal, Normalized Calibration for long-tailed object detection and instance segmentation, a simple and straightforward recipe that reweighs the predicted scores of each class by its training sample size. We show that separately handling the background class and normalizing the scores over classes for each proposal are keys to achieving superior performance. On the LVIS dataset, NorCal can effectively improve nearly all the baseline models not only on rare classes but also on common and frequent classes. Finally, we conduct extensive analysis and ablation studies to offer insights into various modeling choices and mechanisms of our approach. Our code is publicly available at https://github.com/tydpan/NorCal/.