arXiv reaDer
少数ショットセグメンテーションのためのマルチコンテンツインタラクションネットワーク
Multi-Content Interaction Network for Few-Shot Segmentation
少数ショット セグメンテーション (FSS) は、限られたサポート イメージとクラス内の大きな外観の不一致に対して困難です。ほとんどの既存のアプローチは、サポートとクエリのサンプル間の大きな違いにより、異なるレイヤーとスケール間のシフトの問題を無視して、サポートとクエリの相関のために同じレイヤーの高レベルの表現を抽出することに焦点を当てています。このホワイト ペーパーでは、マルチコンテンツ インタラクション ネットワーク (MCINet) を提案し、サポート クエリ ペアに含まれるマルチスケール コンテキスト情報を十分に活用して相互作用させ、同じレイヤーの相関関係を補完することにより、この問題を解決します。具体的には、MCINet は、別のクエリ ブランチからの低レベルの構造情報を高レベルのセマンティック機能に組み込むことによってクエリ表現を強化するという観点から FSS を改善し、同じレイヤーと隣接レイヤーの両方を活用することによってサポート クエリの相関関係を強化します。特徴、および異なるスケールコンテンツが双方向に相互作用したマルチスケールマスク予測戦略によって予測結果を改良します。 2 つのベンチマークでの実験は、私たちのアプローチが SOTA のパフォーマンスに達し、特に困難な COCO データセットで、多くの望ましい利点を備えた最高の競合他社よりも優れていることを示しています。
Few-Shot Segmentation (FSS) is challenging for limited support images and large intra-class appearance discrepancies. Most existing approaches focus on extracting high-level representations of the same layers for support-query correlations, neglecting the shift issue between different layers and scales, due to the huge difference between support and query samples. In this paper, we propose a Multi-Content Interaction Network (MCINet) to remedy this issue by fully exploiting and interacting with the multi-scale contextual information contained in the support-query pairs to supplement the same-layer correlations. Specifically, MCINet improves FSS from the perspectives of boosting the query representations by incorporating the low-level structural information from another query branch into the high-level semantic features, enhancing the support-query correlations by exploiting both the same-layer and adjacent-layer features, and refining the predicted results by a multi-scale mask prediction strategy, with which the different scale contents have bidirectionally interacted. Experiments on two benchmarks demonstrate that our approach reaches SOTA performances and outperforms the best competitors with many desirable advantages, especially on the challenging COCO dataset.
updated: Tue May 02 2023 15:45:47 GMT+0000 (UTC)
published: Sat Mar 11 2023 04:21:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト