パノプティコンセグメンテーション(PS)は、モノオブジェクトとスタッフ領域の両方に高品質のセグメンテーションを提供する必要がある複雑なシーン理解タスクです。以前のメソッドは、これら2つのクラスをセマンティックモジュールとインスタンスセグメンテーションモジュールで別々に処理し、ヒューリスティックフュージョンまたは追加モジュールを使用して2つの出力間の競合を解決しました。この作業は、新しいPSフレームワークで2つのクラスを一貫してモデル化することにより、PSのこのパイプラインを簡素化します。このフレームワークは、追加のモジュールで検出モデルを拡張して、カテゴリおよびインスタンス対応のピクセル埋め込み(CIAE)を予測します。 CIAEは、セマンティック分類とインスタンス識別情報の両方をエンコードする新しいピクセル単位の埋め込み機能です。推論プロセスでは、PSの結果は、学習された埋め込みに従って、検出されたインスタンスまたはスタッフクラスに各ピクセルを割り当てることによって簡単に導き出されます。私たちの方法は、速い推論速度を示すだけでなく、挑戦的なCOCOベンチマークで2段階の方法と同等のパフォーマンスを達成する最初の1段階の方法も示しています。
Panoptic segmentation (PS) is a complex scene understanding task that requires providing high-quality segmentation for both thing objects and stuff regions. Previous methods handle these two classes with semantic and instance segmentation modules separately, following with heuristic fusion or additional modules to resolve the conflicts between the two outputs. This work simplifies this pipeline of PS by consistently modeling the two classes with a novel PS framework, which extends a detection model with an extra module to predict category- and instance-aware pixel embedding (CIAE). CIAE is a novel pixel-wise embedding feature that encodes both semantic-classification and instance-distinction information. At the inference process, PS results are simply derived by assigning each pixel to a detected instance or a stuff class according to the learned embedding. Our method not only demonstrates fast inference speed but also the first one-stage method to achieve comparable performance to two-stage methods on the challenging COCO benchmark.