arXiv reaDer
MSANet:少数のショットのセグメンテーションを後押しするためのマルチ類似性と注意ガイダンス
MSANet: Multi-Similarity and Attention Guidance for Boosting Few-Shot Segmentation
少数のショットのセグメンテーションは、少数の密にラベル付けされたサンプルのみが与えられた場合に、見えないクラスのオブジェクトをセグメント化することを目的としています。サポート機能がグローバルおよびローカルオブジェクト情報を平均化することによって単一または複数のプロトタイプを生成するプロトタイプ学習は、FSSで広く使用されています。ただし、プロトタイプベクトルのみを使用することは、すべてのトレーニングデータの特徴を表すには不十分な場合があります。豊富な特徴を抽出し、より正確な予測を行うために、2つの新しいモジュール、マルチ類似性モジュールと注意モジュールを含むマルチ類似性と注意ネットワーク(MSANet)を提案します。マルチ類似性モジュールは、サポート画像とクエリ画像の複数の機能マップを利用して、正確なセマンティック関係を推定します。アテンションモジュールは、クラス関連の情報に集中するようにネットワークに指示します。ネットワークは、標準のFSSデータセット、PASCAL-5i 1ショット、PASCAL-5i 5ショット、COCO-20i 1ショット、およびCOCO-20i5ショットでテストされています。 ResNet-101のバックボーンを備えたMSANetは、すべての4ベンチマークデータセットで最先端のパフォーマンスを実現し、平均交差点(mIoU)はそれぞれ69.13%、73.99%、51.09%、56.80%です。コードはhttps://github.com/AIVResearch/MSANetで入手できます
Few-shot segmentation aims to segment unseen-class objects given only a handful of densely labeled samples. Prototype learning, where the support feature yields a singleor several prototypes by averaging global and local object information, has been widely used in FSS. However, utilizing only prototype vectors may be insufficient to represent the features for all training data. To extract abundant features and make more precise predictions, we propose a Multi-Similarity and Attention Network (MSANet) including two novel modules, a multi-similarity module and an attention module. The multi-similarity module exploits multiple feature-maps of support images and query images to estimate accurate semantic relationships. The attention module instructs the network to concentrate on class-relevant information. The network is tested on standard FSS datasets, PASCAL-5i 1-shot, PASCAL-5i 5-shot, COCO-20i 1-shot, and COCO-20i 5-shot. The MSANet with the backbone of ResNet-101 achieves the state-of-the-art performance for all 4-benchmark datasets with mean intersection over union (mIoU) of 69.13%, 73.99%, 51.09%, 56.80%, respectively. Code is available at https://github.com/AIVResearch/MSANet
updated: Mon Jun 20 2022 09:14:17 GMT+0000 (UTC)
published: Mon Jun 20 2022 09:14:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト