arXiv reaDer
少数のショットのセグメンテーションのための自己管理チューニング
Self-Supervised Tuning for Few-Shot Segmentation
 少数ショットセグメンテーションは、いくつかの注釈付きサンプルを使用して、各画像ピクセルにカテゴリラベルを割り当てることを目的としています。密度の高い予測は、スパースアノテーションによって定義された潜在的な特徴のガイダンスの下でのみ達成できるため、困難な作業です。既存のメタ学習方法は、サポート画像から抽出された視覚的特徴が埋め込みスペースで取り残されている場合、カテゴリ固有の識別記述子の生成に失敗する傾向があります。この問題に対処するために、このホワイトペーパーでは、適応エピソードフレームワークを紹介します。このフレームワークでは、さまざまなエピソードにまたがる潜在的な機能の分布が、自己予測スキームに基づいて動的に調整され、ラベル予測のカテゴリ固有の記述子が拡張されます。具体的には、サポート画像から基礎となる意味的特徴を抽出するための基本的な学習者として、最初に新しい自己監視インナーループが考案されます。次に、取得された特徴を介して自己監視損失を逆伝播することによって勾配マップが計算され、埋め込みスペースの対応する要素を拡張するためのガイダンスとして活用されます。最後に、さまざまなエピソードから継続的に学習する機能により、提案されたフレームワークの外部ループとして最適化ベースのメタラーナーが採用され、セグメンテーションの結果が徐々に改善されます。ベンチマークPASCAL-5 ^ iおよびCOCO-20 ^ iデータセットでの広範囲な実験は、提案された方法が最先端技術より優れていることを示しています。
Few-shot segmentation aims at assigning a category label to each image pixel with few annotated samples. It is a challenging task since the dense prediction can only be achieved under the guidance of latent features defined by sparse annotations. Existing meta-learning method tends to fail in generating category-specifically discriminative descriptor when the visual features extracted from support images are marginalized in embedding space. To address this issue, this paper presents an adaptive tuning framework, in which the distribution of latent features across different episodes is dynamically adjusted based on a self-segmentation scheme, augmenting category-specific descriptors for label prediction. Specifically, a novel self-supervised inner-loop is firstly devised as the base learner to extract the underlying semantic features from the support image. Then, gradient maps are calculated by back-propagating self-supervised loss through the obtained features, and leveraged as guidance for augmenting the corresponding elements in embedding space. Finally, with the ability to continuously learn from different episodes, an optimization-based meta-learner is adopted as outer loop of our proposed framework to gradually refine the segmentation results. Extensive experiments on benchmark PASCAL-5^i and COCO-20^i datasets demonstrate the superiority of our proposed method over state-of-the-art.
updated: Mon Dec 14 2020 02:52:44 GMT+0000 (UTC)
published: Sun Apr 12 2020 03:53:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト