セマンティック、インスタンス、およびパノプティコンのセグメンテーションは、基礎となる接続にもかかわらず、さまざまな特殊なフレームワークを使用して対処されています。このホワイトペーパーでは、これらの本質的に類似したタスクのための統一された、シンプルで効果的なフレームワークを紹介します。 K-Netという名前のフレームワークは、学習可能なカーネルのグループによってインスタンスとセマンティックカテゴリの両方を一貫してセグメント化します。各カーネルは、潜在的なインスタンスまたはスタッフクラスのマスクを生成する役割を果たします。さまざまなインスタンスを区別することの難しさを改善するために、入力イメージ内の意味のあるグループを条件として各カーネルを動的に有効にするカーネル更新戦略を提案します。 K-Netは、2部マッチングを使用してエンドツーエンドの方法でトレーニングでき、そのトレーニングと推論は当然NMSフリーおよびボックスフリーです。 K-Netは、ベルやホイッスルがないため、MS COCOでのパノプティコンセグメンテーションとADE20Kでのセマンティックセグメンテーションのこれまでのすべての最先端のシングルモデルの結果をそれぞれ52.1%PQと54.3%mIoUで上回っています。そのインスタンスセグメンテーションのパフォーマンスも、カスケードマスクR-CNNon MS COCOと同等であり、推論速度が60%〜90%高速です。コードとモデルはhttps://github.com/open-mmlab/mmdetectionでリリースされます。
Semantic, instance, and panoptic segmentations have been addressed using different and specialized frameworks despite their underlying connections. This paper presents a unified, simple, and effective framework for these essentially similar tasks. The framework, named K-Net, segments both instances and semantic categories consistently by a group of learnable kernels, where each kernel is responsible for generating a mask for either a potential instance or a stuff class. To remedy the difficulties of distinguishing various instances, we propose a kernel update strategy that enables each kernel dynamic and conditional on its meaningful group in the input image. K-Net can be trained in an end-to-end manner with bipartite matching, and its training and inference are naturally NMS-free and box-free. Without bells and whistles, K-Net surpasses all previous state-of-the-art single-model results of panoptic segmentation on MS COCO and semantic segmentation on ADE20K with 52.1% PQ and 54.3% mIoU, respectively. Its instance segmentation performance is also on par with Cascade Mask R-CNNon MS COCO with 60%-90% faster inference speeds. Code and models will be released at https://github.com/open-mmlab/mmdetection.