arXiv reaDer
Single-Shot Panoptic Segmentation
カウント可能なオブジェクトインスタンス(もの)と背景領域(もの)をほぼビデオフレームレートで重複しないパノラマのセグメンテーションにセグメント化する新しいエンドツーエンドのシングルショット方式を紹介します。現在の最先端の方法は、ビデオフレームレートに到達するのにはほど遠く、主にインスタンスセグメンテーションとセマンティックバックグラウンドセグメンテーションのマージに依存しているため、ロボットなどの多くのアプリケーションで使用することは現実的ではありません。私たちのアプローチは、オブジェクト検出器を使用してこの要件を緩和しますが、クラス間およびクラス内のオーバーラップを解決して、オーバーラップしないセグメンテーションを実現できます。共有のエンコーダー/デコーダーバックボーンに加えて、セマンティックセグメンテーション、オブジェクト検出、インスタンス中心予測のために複数のブランチを利用します。最後に、パノプティックヘッドはすべての出力をパノプティックセグメンテーションに結合し、ブランチ間の競合する予測や特定の誤った予測を処理することもできます。私たちのネットワークは、MS-COCOで32.6%PQを23.5 FPSで達成し、より幅広い分野のアプリケーションにパノプティックセグメンテーションを提供します。
We present a novel end-to-end single-shot method that segments countable object instances (things) as well as background regions (stuff) into a non-overlapping panoptic segmentation at almost video frame rate. Current state-of-the-art methods are far from reaching video frame rate and mostly rely on merging instance segmentation with semantic background segmentation, making them impractical to use in many applications such as robotics. Our approach relaxes this requirement by using an object detector but is still able to resolve inter- and intra-class overlaps to achieve a non-overlapping segmentation. On top of a shared encoder-decoder backbone, we utilize multiple branches for semantic segmentation, object detection, and instance center prediction. Finally, our panoptic head combines all outputs into a panoptic segmentation and can even handle conflicting predictions between branches as well as certain false predictions. Our network achieves 32.6% PQ on MS-COCO at 23.5 FPS, opening up panoptic segmentation to a broader field of applications.
updated: Sun Aug 30 2020 13:54:04 GMT+0000 (UTC)
published: Sat Nov 02 2019 18:41:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト