インタラクティブな画像セグメンテーションは、単純なユーザー アノテーションを使用して画像のセグメンテーション マスクを取得することを目的としています。インタラクションの各ラウンドでは、前のラウンドのセグメンテーション結果がフィードバックとして機能し、ユーザーの注釈を導き、セグメンテーション モデルに密な事前情報を提供して、インタラクション間のブリッジとして効果的に機能します。既存の方法は、フィードバックの重要性を見落としているか、フィードバックを元の入力と単純に連結しているため、フィードバックが十分に活用されず、必要な注釈の数が増加しています。これに対処するために、Focused and Collaborative Feedback Integration (FCFI) と呼ばれるアプローチを提案して、クリックベースのインタラクティブな画像セグメンテーションのフィードバックを十分に活用します。 FCFI は、最初に新しいクリック周辺の局所領域に焦点を当て、高レベルの機能の類似性に基づいてフィードバックを修正します。次に、フィードバックと深い機能を交互に共同で更新し、フィードバックを機能に統合します。 FCFI の有効性と効率性は、GrabCut、Berkeley、SBD、DAVIS の 4 つのベンチマークで検証されました。実験結果は、FCFI が以前の方法よりも少ない計算オーバーヘッドで新しい最先端のパフォーマンスを達成したことを示しています。ソース コードは https://github.com/veizgyauzgyauz/FCFI で入手できます。
Interactive image segmentation aims at obtaining a segmentation mask for an image using simple user annotations. During each round of interaction, the segmentation result from the previous round serves as feedback to guide the user's annotation and provides dense prior information for the segmentation model, effectively acting as a bridge between interactions. Existing methods overlook the importance of feedback or simply concatenate it with the original input, leading to underutilization of feedback and an increase in the number of required annotations. To address this, we propose an approach called Focused and Collaborative Feedback Integration (FCFI) to fully exploit the feedback for click-based interactive image segmentation. FCFI first focuses on a local area around the new click and corrects the feedback based on the similarities of high-level features. It then alternately and collaboratively updates the feedback and deep features to integrate the feedback into the features. The efficacy and efficiency of FCFI were validated on four benchmarks, namely GrabCut, Berkeley, SBD, and DAVIS. Experimental results show that FCFI achieved new state-of-the-art performance with less computational overhead than previous methods. The source code is available at https://github.com/veizgyauzgyauz/FCFI.