ターゲットクラスのいくつかの注釈付きサポート画像が提供されたときに、クエリ画像からターゲットオブジェクトをセグメント化することを目的とした数ショットのセマンティックセグメンテーションを研究します。最近のいくつかの方法は、特徴マスキング(FM)技術を使用して、無関係な特徴のアクティブ化を破棄し、最終的にセグメンテーションマスクの信頼性の高い予測を容易にします。 FMの基本的な制限は、特に小さなターゲットオブジェクトの場合、セグメンテーションマスクの精度に影響を与えるきめ細かい空間の詳細を保持できないことです。このホワイトペーパーでは、機能マスキング(FM)を強化するための、シンプルで効果的かつ効率的なアプローチを開発します。強化されたFMをハイブリッドマスキング(HM)としてダビングします。具体的には、補完的な基本的な入力マスキング方法を調査して活用することにより、FM技術におけるきめ細かい空間詳細の損失を補正します。実験は、強力な少数ショットセグメンテーション(FSS)ベースラインを持つ3つの公開されているベンチマークで実施されました。さまざまなベンチマークにわたる目に見えるマージンによって、現在の最先端の方法に対して改善されたパフォーマンスを経験的に示しています。コードとトレーニング済みモデルは、https://github.com/moonsh/HM-Hybrid-Maskingで入手できます。
We study few-shot semantic segmentation that aims to segment a target object from a query image when provided with a few annotated support images of the target class. Several recent methods resort to a feature masking (FM) technique to discard irrelevant feature activations which eventually facilitates the reliable prediction of segmentation mask. A fundamental limitation of FM is the inability to preserve the fine-grained spatial details that affect the accuracy of segmentation mask, especially for small target objects. In this paper, we develop a simple, effective, and efficient approach to enhance feature masking (FM). We dub the enhanced FM as hybrid masking (HM). Specifically, we compensate for the loss of fine-grained spatial details in FM technique by investigating and leveraging a complementary basic input masking method. Experiments have been conducted on three publicly available benchmarks with strong few-shot segmentation (FSS) baselines. We empirically show improved performance against the current state-of-the-art methods by visible margins across different benchmarks. Our code and trained models are available at: https://github.com/moonsh/HM-Hybrid-Masking