arXiv reaDer
Learning Meta-class Memory for Few-Shot Semantic Segmentation
現在、最先端のメソッドは、各クラスが独立していると仮定して、数ショットのセマンティックセグメンテーションタスクを条件付きの前景と背景のセグメンテーション問題として扱います。このホワイトペーパーでは、すべてのクラス間で共有可能なメタ情報(特定の中間レベルの機能など)であるメタクラスの概念を紹介します。数ショットのセグメンテーションタスクでメタクラス表現を明示的に学習するために、メタクラス情報を記憶するための学習可能なメモリ埋め込みのセットを導入する、新しいメタクラスメモリベースの数ショットセグメンテーション方法(MM-Net)を提案します。基本クラスのトレーニング中に、推論段階で新しいクラスに転送します。さらに、kショットのシナリオでは、サポート画像のセットから画像を選択するための新しい画質測定モジュールを提案します。高品質のクラスのプロトタイプは、品質指標に基づいてサポート画像の特徴の加重和を使用して取得できます。 PASCAL-5 ^ iとCOCOデータセットの両方での実験は、提案された方法が1ショットと5ショットの両方の設定で最先端の結果を達成できることを示しています。特に、提案されたMM-Netは、ワンショット設定でCOCOデータセットで37.5%mIoUを達成します。これは、以前の最先端技術よりも5.1%高くなっています。
Currently, the state-of-the-art methods treat few-shot semantic segmentation task as a conditional foreground-background segmentation problem, assuming each class is independent. In this paper, we introduce the concept of meta-class, which is the meta information (e.g. certain middle-level features) shareable among all classes. To explicitly learn meta-class representations in few-shot segmentation task, we propose a novel Meta-class Memory based few-shot segmentation method (MM-Net), where we introduce a set of learnable memory embeddings to memorize the meta-class information during the base class training and transfer to novel classes during the inference stage. Moreover, for the k-shot scenario, we propose a novel image quality measurement module to select images from the set of support images. A high-quality class prototype could be obtained with the weighted sum of support image features based on the quality measure. Experiments on both PASCAL-5^i and COCO dataset shows that our proposed method is able to achieve state-of-the-art results in both 1-shot and 5-shot settings. Particularly, our proposed MM-Net achieves 37.5% mIoU on the COCO dataset in 1-shot setting, which is 5.1% higher than the previous state-of-the-art.
updated: Fri Aug 06 2021 06:29:59 GMT+0000 (UTC)
published: Fri Aug 06 2021 06:29:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト