arXiv reaDer
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
 画像セマンティックセグメンテーションにおける深いCNNの大きな進歩にもかかわらず、それらは通常、トレーニングのために多数の高密度注釈付き画像を必要とし、見えないオブジェクトカテゴリに一般化することは困難です。したがって、少数の注釈付きの例からセグメンテーションを実行することを学ぶために、いくつかのショットのセグメンテーションが開発されました。この論文では、メトリック学習の観点から挑戦的な数ショットセグメンテーション問題に取り組み、サポートセットの情報をより活用するための新しいプロトタイプアライメントネットワークであるPANetを紹介します。 PANetは、埋め込みスペース内のいくつかのサポートイメージからクラス固有のプロトタイプ表現を学習し、各ピクセルを学習したプロトタイプに一致させることで、クエリイメージをセグメント化します。ノンパラメトリックメトリック学習により、PANetは各セマンティッククラスを代表すると同時に、異なるクラスを区別する高品質のプロトタイプを提供します。さらに、PANetは、サポートとクエリの間のプロトタイプアライメントの正規化を導入しています。これにより、PANetはサポートからの知識を完全に活用し、少数ショットセグメンテーションのより一般化を提供します。重要なことは、このモデルは、1ショットと5ショットの設定でそれぞれPASCAL-5iで48.1%と55.7%のmIoUスコアを達成し、最先端の方法を1.8%と8.6%上回ることです。
Despite the great progress made by deep CNNs in image semantic segmentation, they typically require a large number of densely-annotated images for training and are difficult to generalize to unseen object categories. Few-shot segmentation has thus been developed to learn to perform segmentation from only a few annotated examples. In this paper, we tackle the challenging few-shot segmentation problem from a metric learning perspective and present PANet, a novel prototype alignment network to better utilize the information of the support set. Our PANet learns class-specific prototype representations from a few support images within an embedding space and then performs segmentation over the query images through matching each pixel to the learned prototypes. With non-parametric metric learning, PANet offers high-quality prototypes that are representative for each semantic class and meanwhile discriminative for different classes. Moreover, PANet introduces a prototype alignment regularization between support and query. With this, PANet fully exploits knowledge from the support and provides better generalization on few-shot segmentation. Significantly, our model achieves the mIoU score of 48.1% and 55.7% on PASCAL-5i for 1-shot and 5-shot settings respectively, surpassing the state-of-the-art method by 1.8% and 8.6%.
updated: Fri Feb 07 2020 03:20:01 GMT+0000 (UTC)
published: Sun Aug 18 2019 07:56:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト