arXiv reaDer
少数ショット セグメンテーションのためのマルチコンテキスト インタラクション ネットワーク
Multi-Context Interaction Network for Few-Shot Segmentation
少数ショット セグメンテーション (FSS) は、限られたサポート イメージとクラス内の大きな外観の不一致に対して困難です。サポートとクエリのサンプルには大きな違いがあるため、ほとんどの既存のアプローチは、サポートとクエリの相関のために同じレイヤーの高レベルの表現を抽出することに重点を置いていますが、異なるレイヤーとスケール間のシフトの問題は無視しています。このホワイト ペーパーでは、サポート クエリ ペアに含まれるマルチスケール コンテキスト情報を十分に活用して対話することにより、この問題を解決するマルチ コンテキスト インタラクション ネットワーク (MCINet) を提案します。具体的には、MCINet は、別のクエリ ブランチからの低レベルの構造情報を高レベルのセマンティック機能に組み込むことによってクエリ表現を強化するという観点から FSS を改善し、同じレイヤーと隣接レイヤーの両方を活用することによってサポート クエリの相関関係を強化します。特徴、および異なるスケールコンテンツが双方向に相互作用したマルチスケールマスク予測戦略によって予測結果を改良します。 2 つのベンチマークでの実験は、私たちのアプローチが SOTA のパフォーマンスに達し、特に困難な COCO データセットで、多くの望ましい利点を備えた最高の競合他社よりも優れていることを示しています。
Few-Shot Segmentation (FSS) is challenging for limited support images and large intra-class appearance discrepancies. Due to the huge difference between support and query samples, most existing approaches focus on extracting high-level representations of the same layers for support-query correlations but neglect the shift issue between different layers and scales. In this paper, we propose a Multi-Context Interaction Network (MCINet) to remedy this issue by fully exploiting and interacting with the multi-scale contextual information contained in the support-query pairs. Specifically, MCINet improves FSS from the perspectives of boosting the query representations by incorporating the low-level structural information from another query branch into the high-level semantic features, enhancing the support-query correlations by exploiting both the same-layer and adjacent-layer features, and refining the predicted results by a multi-scale mask prediction strategy, with which the different scale contents have bidirectionally interacted. Experiments on two benchmarks demonstrate that our approach reaches SOTA performances and outperforms the best competitors with many desirable advantages, especially on the challenging COCO dataset.
updated: Sat Mar 11 2023 04:21:59 GMT+0000 (UTC)
published: Sat Mar 11 2023 04:21:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト