arXiv reaDer
SIM: Box-Supervised インスタンス セグメンテーションのためのセマンティック アウェア インスタンス マスク生成
SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
境界ボックスの注釈のみを使用した弱教師付きインスタンス セグメンテーションは、最近、多くの研究の注目を集めています。現在の取り組みのほとんどは、オブジェクトの高レベルのセマンティック情報を明示的に利用せずに、追加の監視として低レベルの画像機能を活用しています。これは、前景オブジェクトが背景または近くの他のオブジェクトと同様の外観を持つ場合に効果がなくなります。 Semantic-aware Instance Mask (SIM) 生成パラダイムを開発することにより、新しいボックス監視インスタンス セグメンテーション アプローチを提案します。隣接するピクセル間のローカル ペアワイズ アフィニティに大きく依存する代わりに、前景オブジェクトを識別し、それらにセマンティック レベルの疑似ラベルを割り当てるプロトタイプとして、カテゴリワイズ フィーチャ セントロイドのグループを構築します。セマンティック認識プロトタイプは同じセマンティクスの異なるインスタンスを区別できないことを考慮して、誤ってアクティブ化された領域を修正し、正しい領域を強化する自己修正メカニズムを提案します。さらに、オブジェクト間のオクルージョンを処理するために、弱い教師付きインスタンス セグメンテーション タスクのコピー アンド ペースト操作を調整して、困難なトレーニング データを増強します。広範な実験結果は、提案されたSIMアプローチが他の最先端の方法よりも優れていることを示しています。ソースコード: https://github.com/lslrh/SIM.
Weakly supervised instance segmentation using only bounding box annotations has recently attracted much research attention. Most of the current efforts leverage low-level image features as extra supervision without explicitly exploiting the high-level semantic information of the objects, which will become ineffective when the foreground objects have similar appearances to the background or other objects nearby. We propose a new box-supervised instance segmentation approach by developing a Semantic-aware Instance Mask (SIM) generation paradigm. Instead of heavily relying on local pair-wise affinities among neighboring pixels, we construct a group of category-wise feature centroids as prototypes to identify foreground objects and assign them semantic-level pseudo labels. Considering that the semantic-aware prototypes cannot distinguish different instances of the same semantics, we propose a self-correction mechanism to rectify the falsely activated regions while enhancing the correct ones. Furthermore, to handle the occlusions between objects, we tailor the Copy-Paste operation for the weakly-supervised instance segmentation task to augment challenging training data. Extensive experimental results demonstrate the superiority of our proposed SIM approach over other state-of-the-art methods. The source code: https://github.com/lslrh/SIM.
updated: Tue Mar 14 2023 05:59:25 GMT+0000 (UTC)
published: Tue Mar 14 2023 05:59:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト