この論文では、リモートセンシング画像(RSI)における挑戦的なマルチカテゴリインスタンスセグメンテーション問題に焦点を当てます。これは、すべてのインスタンスのカテゴリを予測し、ピクセルレベルのマスクでそれらをローカライズすることを目的としています。多くの画期的なフレームワークは、インスタンスのセグメンテーションで有望なパフォーマンスを示していますが、バックグラウンドの複雑さとスケールの変動性のインスタンスは、RSIのインスタンスのセグメンテーションにとって依然として困難です。上記の問題に対処するために、エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデル、つまり、主にセマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成されるセマンティックアテンションおよびスケール補完ネットワークを提案します。 SEAモジュールには、特徴マップ上の対象インスタンスのアクティブ化を強化し、バックグラウンドノイズの干渉を低減するための追加の監視を備えた、単純な完全畳み込みセマンティックセグメンテーションブランチが含まれています。スケールが大きく変化する地理空間インスタンスのアンダーセグメンテーションを処理するために、元のシングルマスクブランチをトライデントマスクブランチに拡張し、マルチスケール情報を十分に活用するためにさまざまなスケールで補完的なマスク監視を導入するSCMBを設計します。 iSAIDデータセットとNWPUインスタンスセグメンテーションデータセットで提案された方法の有効性を評価し、有望なパフォーマンスを達成するために、包括的な実験を実施します。
In this paper, we focus on the challenging multicategory instance segmentation problem in remote sensing images (RSIs), which aims at predicting the categories of all instances and localizing them with pixel-level masks. Although many landmark frameworks have demonstrated promising performance in instance segmentation, the complexity in the background and scale variability instances still remain challenging for instance segmentation of RSIs. To address the above problems, we propose an end-to-end multi-category instance segmentation model, namely Semantic Attention and Scale Complementary Network, which mainly consists of a Semantic Attention (SEA) module and a Scale Complementary Mask Branch (SCMB). The SEA module contains a simple fully convolutional semantic segmentation branch with extra supervision to strengthen the activation of interest instances on the feature map and reduce the background noise's interference. To handle the under-segmentation of geospatial instances with large varying scales, we design the SCMB that extends the original single mask branch to trident mask branches and introduces complementary mask supervision at different scales to sufficiently leverage the multi-scale information. We conduct comprehensive experiments to evaluate the effectiveness of our proposed method on the iSAID dataset and the NWPU Instance Segmentation dataset and achieve promising performance.