ほとんどの既存のオブジェクトインスタンスの検出およびセグメンテーションモデルは、COCOなど、カテゴリごとのトレーニングサンプル数が同等であるかなりバランスの取れたベンチマークでのみ適切に機能します。通常はロングテールである現実的なデータセットでは、パフォーマンスが低下する傾向があります。この作品は、そのような未解決の課題を研究し、対処することを目的としています。具体的には、最新の2段階インスタンスセグメンテーションモデルMask R-CNNの最近のロングテールLVISデータセットでのパフォーマンス低下を体系的に調査し、主な原因がオブジェクト提案の不正確な分類であることを明らかにします。このような観察に基づいて、まず、インスタンスのセグメンテーション結果を実際に向上させるロングテール分類のパフォーマンスを向上させるためのさまざまな手法を検討します。次に、2レベルのクラスバランスサンプリングアプローチを使用して分類ヘッドバイアスをより効果的に軽減するための単純なキャリブレーションフレームワークを提案します。ベルやホイッスルがなければ、最近のLVISデータセットとサンプリングされたCOCO-LTデータセットのテールクラスのインスタンスセグメンテーションのパフォーマンスが大幅に向上します。私たちの分析は、ロングテールインスタンスの検出とセグメンテーションの問題を解決するための有用な洞察を提供し、単純なSimCalメソッドはシンプルですが強力なベースラインとして機能します。この方法で、2019LVISチャレンジに勝ちました。コードとモデルはhttps://github.com/twangnh/SimCalで入手できます。
Most existing object instance detection and segmentation models only work well on fairly balanced benchmarks where per-category training sample numbers are comparable, such as COCO. They tend to suffer performance drop on realistic datasets that are usually long-tailed. This work aims to study and address such open challenges. Specifically, we systematically investigate performance drop of the state-of-the-art two-stage instance segmentation model Mask R-CNN on the recent long-tail LVIS dataset, and unveil that a major cause is the inaccurate classification of object proposals. Based on such an observation, we first consider various techniques for improving long-tail classification performance which indeed enhance instance segmentation results. We then propose a simple calibration framework to more effectively alleviate classification head bias with a bi-level class balanced sampling approach. Without bells and whistles, it significantly boosts the performance of instance segmentation for tail classes on the recent LVIS dataset and our sampled COCO-LT dataset. Our analysis provides useful insights for solving long-tail instance detection and segmentation problems, and the straightforward SimCal method can serve as a simple but strong baseline. With the method we have won the 2019 LVIS challenge. Codes and models are available at https://github.com/twangnh/SimCal.