セマンティックカテゴリラベルを考慮せずに画像内のすべての視覚エンティティをセグメント化することを目的として、エンティティセグメンテーション(ES)と呼ばれる新しい画像セグメンテーションタスクを導入します。セグメンテーションマスクの品質は通常重要ですが、カテゴリラベルはそれほど重要ではない画像操作/編集で多くの実用的なアプリケーションがあります。この設定では、意味的に意味のあるすべてのセグメントがカテゴリのないエンティティとして等しく扱われ、物事の区別はありません。統一されたエンティティ表現に基づいて、マスクの品質を向上させる2つの新しいモジュールを備えたセンターベースのエンティティセグメンテーションフレームワークを提案します。実験的に、私たちの新しいタスクとフレームワークの両方が、既存の作業に対して優れた利点を示しています。特に、ESは次のことを可能にします。(1)複数のデータセットをマージして、ラベルの競合を解決する必要なしに大規模なトレーニングセットを形成します。 (2)1つのデータセットでトレーニングされたモデルは、ドメインが表示されていない他のデータセットに非常によく一般化できます。私たちのコードはhttps://github.com/dvlab-research/Entityで公開されています。
We introduce a new image segmentation task, termed Entity Segmentation (ES) with the aim to segment all visual entities in an image without considering semantic category labels. It has many practical applications in image manipulation/editing where the segmentation mask quality is typically crucial but category labels are less important. In this setting, all semantically-meaningful segments are equally treated as categoryless entities and there is no thing-stuff distinction. Based on our unified entity representation, we propose a center-based entity segmentation framework with two novel modules to improve mask quality. Experimentally, both our new task and framework demonstrate superior advantages as against existing work. In particular, ES enables the following: (1) merging multiple datasets to form a large training set without the need to resolve label conflicts; (2) any model trained on one dataset can generalize exceptionally well to other datasets with unseen domains. Our code is made publicly available at https://github.com/dvlab-research/Entity.