arXiv reaDer
SSAP: Single-Shot Instance Segmentation With Affinity Pyramid
  最近、簡潔で効率的なパイプラインにより、提案のないインスタンスのセグメンテーションが注目を集めています。一般的に、提案不要のメソッドは、インスタンスに依存しないセマンティックセグメンテーションラベルとインスタンス対応機能を生成して、ピクセルを異なるオブジェクトインスタンスにグループ化します。ただし、以前の方法では、これらの2つのサブタスクに個別のモジュールが主に使用され、推論には複数のパスが必要です。これら2つのサブタスクを別々に処理することは最適ではないと主張します。実際、複数の個別のモジュールを使用すると、アプリケーションの可能性が大幅に減少します。 2つの補完的なサブタスク間の相互利益も未調査です。この目的のために、この作業では、予測のために単一のパスのみを必要とする、単一ショットの提案のないインスタンスのセグメント化方法を提案します。この方法は、ピクセルペアアフィニティピラミッドに基づいており、2つのピクセルが階層的に同じインスタンスに属する確率を計算します。アフィニティピラミッドは、セマンティッククラスのラベル付けと一緒に学習することもできます。さらに、学習されたアフィニティピラミッドを組み込んだ、新しいカスケードグラフパーティションモジュールが提示され、粗いインスタンスから細かいインスタンスまで順次生成されます。これまでの時間のかかるグラフパーティション手法とは異なり、このモジュールは平均精度(AP)で$ 5 \ times $の高速化と9%の相対的改善を実現します。私たちのアプローチは、挑戦的なCityscapesデータセットで最先端の結果を達成します。
Recently, proposal-free instance segmentation has received increasing attention due to its concise and efficient pipeline. Generally, proposal-free methods generate instance-agnostic semantic segmentation labels and instance-aware features to group pixels into different object instances. However, previous methods mostly employ separate modules for these two sub-tasks and require multiple passes for inference. We argue that treating these two sub-tasks separately is suboptimal. In fact, employing multiple separate modules significantly reduces the potential for application. The mutual benefits between the two complementary sub-tasks are also unexplored. To this end, this work proposes a single-shot proposal-free instance segmentation method that requires only one single pass for prediction. Our method is based on a pixel-pair affinity pyramid, which computes the probability that two pixels belong to the same instance in a hierarchical manner. The affinity pyramid can also be jointly learned with the semantic class labeling and achieve mutual benefits. Moreover, incorporating with the learned affinity pyramid, a novel cascaded graph partition module is presented to sequentially generate instances from coarse to fine. Unlike previous time-consuming graph partition methods, this module achieves $5\times$ speedup and 9% relative improvement on Average-Precision (AP). Our approach achieves state-of-the-art results on the challenging Cityscapes dataset.
updated: Wed Sep 04 2019 08:33:07 GMT+0000 (UTC)
published: Wed Sep 04 2019 08:33:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト