arXiv reaDer
SOGNet: Scene Overlap Graph Network for Panoptic Segmentation
 パノプティックセグメンテーションタスクには、重複を含む可能性のあるセマンティックおよびインスタンスセグメンテーション出力からの統一された結果が必要です。ただし、現在の研究ではモデリングの重複は広く無視されています。この研究では、インスタンス間のオーバーラップ関係をモデル化し、パノラマ視セグメンテーションのためにそれらを解決することを目指しています。シーングラフ表現に触発されて、シーンオーバーラップグラフという名前の単純化されたケースとしてオーバーラップ問題を定式化します。各オブジェクトのカテゴリ、ジオメトリ、および外観の機能を活用してリレーショナル埋め込みを実行し、重複関係をエンコードする関係マトリックスを出力します。監視の欠如を克服するために、インスタンスの任意のペア間の重複を解決する微分可能なモジュールを導入します。重複を削除した後のマスクロジットは、ピクセルごとのインスタンス\ verb | id |に送られます。分類。パノプティック監視を活用して、オーバーラップ関係のモデリングを支援します。さらに、私たちの方法で予測されるオーバーラップ関係の精度を定量化するために、オーバーラップ関係のおおよそのグランドトゥルースを弱い監視として生成します。 COCOとCityscapesの実験は、この方法がオーバーラップ関係を正確に予測し、パノプティックセグメンテーションの最先端のパフォーマンスを上回ることができることを示しています。この方法は、COCO 2019チャレンジでイノベーション賞を受賞しました。
The panoptic segmentation task requires a unified result from semantic and instance segmentation outputs that may contain overlaps. However, current studies widely ignore modeling overlaps. In this study, we aim to model overlap relations among instances and resolve them for panoptic segmentation. Inspired by scene graph representation, we formulate the overlapping problem as a simplified case, named scene overlap graph. We leverage each object's category, geometry and appearance features to perform relational embedding, and output a relation matrix that encodes overlap relations. In order to overcome the lack of supervision, we introduce a differentiable module to resolve the overlap between any pair of instances. The mask logits after removing overlaps are fed into per-pixel instance \verb|id| classification, which leverages the panoptic supervision to assist in the modeling of overlap relations. Besides, we generate an approximate ground truth of overlap relations as the weak supervision, to quantify the accuracy of overlap relations predicted by our method. Experiments on COCO and Cityscapes demonstrate that our method is able to accurately predict overlap relations, and outperform the state-of-the-art performance for panoptic segmentation. Our method also won the Innovation Award in COCO 2019 challenge.
updated: Mon Nov 18 2019 10:26:35 GMT+0000 (UTC)
published: Mon Nov 18 2019 10:26:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト