このホワイトペーパーでは、パノプティックFCNと呼ばれる、パノプティックセグメンテーションのための概念的にシンプルで強力かつ効率的なフレームワークを紹介します。私たちのアプローチは、統一された完全畳み込みパイプラインで前景のものと背景のものを表現および予測することを目的としています。特に、Panoptic FCNは、提案されたカーネルジェネレーターを使用して、各オブジェクトインスタンスまたはスタッフカテゴリを特定のカーネル重みにエンコードし、高解像度機能を直接畳み込むことによって予測を生成します。このアプローチを使用すると、インスタンスを認識し、意味的に一貫性のあるものやもののプロパティを、単純な生成-カーネル-次にセグメント化ワークフローでそれぞれ満たすことができます。ローカリゼーションまたはインスタンス分離のための追加のボックスがない場合、提案されたアプローチは、単一スケール入力のCOCO、Cityscapes、およびMapillary Vistasデータセットで、以前のボックスベースの無料モデルよりも効率が高くなります。私たちのコードはhttps://github.com/yanwei-li/PanopticFCNで公開されています。
In this paper, we present a conceptually simple, strong, and efficient framework for panoptic segmentation, called Panoptic FCN. Our approach aims to represent and predict foreground things and background stuff in a unified fully convolutional pipeline. In particular, Panoptic FCN encodes each object instance or stuff category into a specific kernel weight with the proposed kernel generator and produces the prediction by convolving the high-resolution feature directly. With this approach, instance-aware and semantically consistent properties for things and stuff can be respectively satisfied in a simple generate-kernel-then-segment workflow. Without extra boxes for localization or instance separation, the proposed approach outperforms previous box-based and -free models with high efficiency on COCO, Cityscapes, and Mapillary Vistas datasets with single scale input. Our code is made publicly available at https://github.com/yanwei-li/PanopticFCN.