arXiv reaDer
SpatialFlow: Bridging All Tasks for Panoptic Segmentation
オブジェクトの位置は、画像シーン内のすべてのものに関連するため、パノラマのセグメンテーションの基本です。画像内のオブジェクトの位置を知ることは、セグメント化の手がかりを提供し、ネットワークがシーンをよりよく理解するのに役立ちます。モノとモノのセグメンテーションの両方でオブジェクトの場所を統合する方法は、重要な問題です。この論文では、この目的を達成するための空間情報フローを提案します。フローは、ボックス回帰タスクから他のオブジェクトにオブジェクトの空間コンテキストを配信することにより、パノラマのセグメンテーションのすべてのサブタスクをブリッジできます。さらに重要なのは、サブタスクでオブジェクトの空間情報を適切に適応させるために、4つの並列サブネットワークを設計することです。サブネットワークとフローについては、SpatialFlowと呼ばれる、パノプティックセグメンテーションのための位置認識型の統合フレームワークを示します。各コンポーネントに対して詳細なアブレーション研究を行い、SpatialFlowの有効性を証明するために広範な実験を行います。さらに、MS-COCOおよびCityscapesパノプティックベンチマークでそれぞれ47.9 PQおよび62.5 PQの最先端の結果を達成しています。コードはで入手できます。
Object location is fundamental to panoptic segmentation as it is related to all things and stuff in the image scene. Knowing the locations of objects in the image provides clues for segmenting and helps the network better understand the scene. How to integrate object location in both thing and stuff segmentation is a crucial problem. In this paper, we propose spatial information flows to achieve this objective. The flows can bridge all sub-tasks in panoptic segmentation by delivering the object's spatial context from the box regression task to others. More importantly, we design four parallel sub-networks to get a preferable adaptation of object spatial information in sub-tasks. Upon the sub-networks and the flows, we present a location-aware and unified framework for panoptic segmentation, denoted as SpatialFlow. We perform a detailed ablation study on each component and conduct extensive experiments to prove the effectiveness of SpatialFlow. Furthermore, we achieve state-of-the-art results, which are 47.9 PQ and 62.5 PQ respectively on MS-COCO and Cityscapes panoptic benchmarks. Code will be available at
updated: Thu Aug 27 2020 09:21:09 GMT+0000 (UTC)
published: Sat Oct 19 2019 15:16:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト