arXiv reaDer
少数ショットセグメンテーションのための自己蒸留埋め込み教師あり親和性注意モデル
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
数ショットのセマンティックセグメンテーションは、注釈付きのサンプルが少ないピクセル単位でオブジェクトカテゴリを予測するという難しいタスクです。ただし、既存のアプローチは依然として2つの主要な課題に直面しています。まず、サポート画像とクエリ画像の機能が大きく異なるため、知識の伝達が妨げられ、セグメンテーションのパフォーマンスが低下します。第二に、サポートサンプルがほとんどないため、サポート機能が代表的ではなく、高品質のクエリセグメンテーションをガイドすることはほとんどありません。上記の2つの問題に対処するために、自己蒸留埋め込み教師ありアフィニティ注意モデル(SD-AANet)を提案して、数ショットのセグメンテーションタスクのパフォーマンスを向上させます。具体的には、自己蒸留ガイドプロトタイプモジュール(SDPM)は、サポートとクエリの間の自己蒸留によって固有のプロトタイプを抽出し、代表的な機能をキャプチャします。教師ありアフィニティアテンションモジュール(SAAM)は、サポートグラウンドトゥルースを採用して、クエリターゲットの全領域に焦点を当てるためのアフィニティ情報を学習できる高品質のクエリアテンションマップの作成をガイドします。広範な実験により、SD-AANetが既存の方法と比較してパフォーマンスを大幅に向上させることが証明されています。包括的なアブレーション実験と視覚化研究も、数ショットのセグメンテーションタスクに対するSDPMとSAAMの重要な効果を示しています。ベンチマークデータセットであるPASCAL-5iとCOCO-20iでは、提案されたSD-AANetはどちらも最先端の結果を達成しています。私たちのコードはまもなく公開されます。
Few-shot semantic segmentation is a challenging task of predicting object categories in pixel-wise with only few annotated samples. However, existing approaches still face two main challenges. First, huge feature distinction between support and query images causes knowledge transferring barrier, which harms the segmentation performance. Second, few support samples cause unrepresentative of support features, hardly to guide high-quality query segmentation. To deal with the above two issues, we propose self-distillation embedded supervised affinity attention model (SD-AANet) to improve the performance of few-shot segmentation task. Specifically, the self-distillation guided prototype module (SDPM) extracts intrinsic prototype by self-distillation between support and query to capture representative features. The supervised affinity attention module (SAAM) adopts support ground truth to guide the production of high quality query attention map, which can learn affinity information to focus on whole area of query target. Extensive experiments prove that our SD-AANet significantly improves the performance comparing with existing methods. Comprehensive ablation experiments and visualization studies also show the significant effect of SDPM and SAAM for few-shot segmentation task. On benchmark datasets, PASCAL-5i and COCO-20i, our proposed SD-AANet both achieve state-of-the-art results. Our code will be publicly available soon.
updated: Sat Aug 14 2021 18:16:12 GMT+0000 (UTC)
published: Sat Aug 14 2021 18:16:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト