arXiv reaDer
ContourRender: 1 回のパスでのインスタンス セグメンテーションのための任意の輪郭形状の検出
ContourRender: Detecting Arbitrary Contour Shape For Instance Segmentation In One Pass
インスタンスのセグメンテーションのための直接等高線回帰は困難な作業です。以前の作品は通常、輪郭予測を徐々に洗練することを学習するか、限られた表現力で形状表現を採用することによってそれを達成します。この作業では、1 回のパスで輪郭点を回帰することの難しさは、滑らかな輪郭をポリゴンに離散化するときのあいまいさが主な原因であると主張します。あいまいさに対処するために、ContourRender という名前の新しい微分可能なレンダリング ベースのアプローチを提案します。トレーニング中に、最初に反転可能な形状シグネチャによって生成された輪郭を予測し、次に輪郭メッシュに変換してメッシュを 2D マップにレンダリングすることで、より安定したシルエットで輪郭を最適化します。この方法は、反復やカスケードされた改良を行わなくても、輪郭の品質を大幅に向上させます。また、推論時に最適化を行う必要がないため、推論速度に影響を与えません。実験では、提案された ContourRender が COCO でのすべての輪郭ベースのインスタンス セグメンテーション アプローチよりも優れている一方で、Cityscapes の反復ベースの最先端との競争力を維持していることを示しています。さらに、COCO ContourHard-val という名前の COCO val2017 からサブセットを選択して、輪郭の品質の向上をさらに実証します。コード、モデル、データセットの分割がリリースされます。
Direct contour regression for instance segmentation is a challenging task. Previous works usually achieve it by learning to progressively refine the contour prediction or adopting a shape representation with limited expressiveness. In this work, we argue that the difficulty in regressing the contour points in one pass is mainly due to the ambiguity when discretizing a smooth contour into a polygon. To address the ambiguity, we propose a novel differentiable rendering-based approach named ContourRender. During training, it first predicts a contour generated by an invertible shape signature, and then optimizes the contour with the more stable silhouette by converting it to a contour mesh and rendering the mesh to a 2D map. This method significantly improves the quality of contour without iterations or cascaded refinements. Moreover, as optimization is not needed during inference, the inference speed will not be influenced. Experiments show the proposed ContourRender outperforms all the contour-based instance segmentation approaches on COCO, while stays competitive with the iteration-based state-of-the-art on Cityscapes. In addition, we specifically select a subset from COCO val2017 named COCO ContourHard-val to further demonstrate the contour quality improvements. Codes, models, and dataset split will be released.
updated: Mon Jun 07 2021 07:23:03 GMT+0000 (UTC)
published: Mon Jun 07 2021 07:23:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト