arXiv reaDer
Boosting Few-shot Semantic Segmentation with Transformers
完全に監視されたセマンティックセグメンテーション方法は、うまく機能するために十分な完全にラベル付けされたデータを必要とし、目に見えないクラスに一般化できないという事実のために、数ショットのセグメンテーションは多くの研究の注目を集めています。従来の技術では、サポート画像とクエリ画像から特徴を抽出します。これらの画像は、クエリ画像の予測を行う前に共同で処理されます。プロセス全体が畳み込みニューラルネットワーク(CNN)に基づいているため、ローカル情報のみが使用されるという問題が発生します。この論文では、トランスフォーマーベースの数ショットセマンティックセグメンテーション法(TRFS)を提案します。具体的には、私たちのモデルは、グローバルエンハンスメントモジュール(GEM)とローカルエンハンスメントモジュール(LEM)の2つのモジュールで構成されています。 GEMはトランスフォーマーブロックを採用してグローバル情報を活用し、LEMは従来の畳み込みを利用してクエリおよびサポート機能全体でローカル情報を活用します。 GEMとLEMはどちらも補完的であり、クエリ画像をセグメント化するためのより優れた特徴表現を学習するのに役立ちます。 PASCAL-5iおよびCOCOデータセットに関する広範な実験は、私たちのアプローチが新しい最先端のパフォーマンスを達成し、その有効性を実証していることを示しています。
Due to the fact that fully supervised semantic segmentation methods require sufficient fully-labeled data to work well and can not generalize to unseen classes, few-shot segmentation has attracted lots of research attention. Previous arts extract features from support and query images, which are processed jointly before making predictions on query images. The whole process is based on convolutional neural networks (CNN), leading to the problem that only local information is used. In this paper, we propose a TRansformer-based Few-shot Semantic segmentation method (TRFS). Specifically, our model consists of two modules: Global Enhancement Module (GEM) and Local Enhancement Module (LEM). GEM adopts transformer blocks to exploit global information, while LEM utilizes conventional convolutions to exploit local information, across query and support features. Both GEM and LEM are complementary, helping to learn better feature representations for segmenting query images. Extensive experiments on PASCAL-5i and COCO datasets show that our approach achieves new state-of-the-art performance, demonstrating its effectiveness.
updated: Wed Aug 04 2021 20:09:21 GMT+0000 (UTC)
published: Wed Aug 04 2021 20:09:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト