エンティティセグメンテーション(ES)と呼ばれる新しい画像セグメンテーションタスクを紹介します。これは、セマンティックラベルを予測せずに、画像内のすべての視覚エンティティ(オブジェクトやスタッフ)をセグメント化することを目的としています。クラスラベル予測の必要性を排除することにより、そのようなタスク用にトレーニングされたモデルは、セグメンテーション品質の向上により重点を置くことができます。セグメンテーションマスクの品質は重要ですが、クラスラベルはそれほど重要ではない、画像操作や編集などの多くの実用的なアプリケーションがあります。畳み込み中心ベースの表現が統一された方法で物事をセグメント化する可能性を調査するための初めての研究を実施し、そのような表現がESのコンテキストに非常によく適合することを示します。より具体的には、ESのクラスにとらわれない重複しない要件を活用するように特別に設計された2つの新しいモジュールを備えたCondInstのような完全畳み込みアーキテクチャを提案します。実験によると、ES用に設計およびトレーニングされたモデルは、セグメンテーションの品質に関して、一般的なクラス固有のパノプティコンセグメンテーションモデルを大幅に上回っています。さらに、ESモデルは、データセットのマージでラベルの競合を解決する必要なしに、複数のデータセットの組み合わせで簡単にトレーニングできます。また、1つ以上のデータセットでES用にトレーニングされたモデルは、見えないドメインの他のテストデータセットに非常によく一般化できます。コードはhttps://github.com/dvlab-research/Entityでリリースされています。
We introduce a new image segmentation task, called Entity Segmentation (ES), which aims to segment all visual entities (objects and stuffs) in an image without predicting their semantic labels. By removing the need of class label prediction, the models trained for such task can focus more on improving segmentation quality. It has many practical applications such as image manipulation and editing where the quality of segmentation masks is crucial but class labels are less important. We conduct the first-ever study to investigate the feasibility of convolutional center-based representation to segment things and stuffs in a unified manner, and show that such representation fits exceptionally well in the context of ES. More specifically, we propose a CondInst-like fully-convolutional architecture with two novel modules specifically designed to exploit the class-agnostic and non-overlapping requirements of ES. Experiments show that the models designed and trained for ES significantly outperforms popular class-specific panoptic segmentation models in terms of segmentation quality. Moreover, an ES model can be easily trained on a combination of multiple datasets without the need to resolve label conflicts in dataset merging, and the model trained for ES on one or more datasets can generalize very well to other test datasets of unseen domains. The code has been released at https://github.com/dvlab-research/Entity.