arXiv reaDer
レベルセットの進化を伴うボックス監視インスタンスセグメンテーション
Box-supervised Instance Segmentation with Level Set Evolution
ピクセル単位のマスクラベルを使用する完全に監視された方法とは対照的に、ボックス監視されたインスタンスのセグメンテーションは、最近多くの研究の注目を集めている単純なボックス注釈を利用します。この論文では、古典的なレベルセットモデルを深いニューラルネットワークと繊細に統合する、新しいシングルショットボックス教師ありインスタンスセグメンテーションアプローチを提案します。具体的には、提案された方法は、エンドツーエンドの方法で連続的なChan-Veseエネルギーベースの関数を介して一連のレベルセットを繰り返し学習します。単純なマスク監視SOLOv2モデルは、各インスタンスに設定されたレベルとしてインスタンス認識マスクマップを予測するように適合されています。入力画像とその深い特徴の両方が、レベルセット曲線を展開するための入力データとして使用されます。ここで、ボックス投影関数が初期境界を取得するために使用されます。完全に微分可能なエネルギー関数を最小化することにより、各インスタンスに設定されたレベルは、対応するバウンディングボックスの注釈内で繰り返し最適化されます。 4つの挑戦的なベンチマークでの実験結果は、さまざまなシナリオでの堅牢なインスタンスセグメンテーションに対する提案されたアプローチの優れたパフォーマンスを示しています。コードはhttps://github.com/LiWentomng/boxlevelsetで入手できます。
In contrast to the fully supervised methods using pixel-wise mask labels, box-supervised instance segmentation takes advantage of the simple box annotations, which has recently attracted a lot of research attentions. In this paper, we propose a novel single-shot box-supervised instance segmentation approach, which integrates the classical level set model with deep neural network delicately. Specifically, our proposed method iteratively learns a series of level sets through a continuous Chan-Vese energy-based function in an end-to-end fashion. A simple mask supervised SOLOv2 model is adapted to predict the instance-aware mask map as the level set for each instance. Both the input image and its deep features are employed as the input data to evolve the level set curves, where a box projection function is employed to obtain the initial boundary. By minimizing the fully differentiable energy function, the level set for each instance is iteratively optimized within its corresponding bounding box annotation. The experimental results on four challenging benchmarks demonstrate the leading performance of our proposed approach to robust instance segmentation in various scenarios. The code is available at: https://github.com/LiWentomng/boxlevelset.
updated: Tue Jul 19 2022 03:59:44 GMT+0000 (UTC)
published: Tue Jul 19 2022 03:59:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト