インタラクティブセグメンテーションでは、ユーザーは最初にターゲットオブジェクトをクリックして本体をセグメント化し、次に誤ってラベル付けされた領域を修正して、セグメンテーションマスクを繰り返し調整します。ほとんどの既存の方法は、これらのユーザー提供のクリックをインタラクションマップに変換し、入力テンソルとして画像と連結します。通常、相互作用マップは、クリックと誤ってラベル付けされた領域との関係を無視して、クリックされたポイントまでの各ピクセルの距離を測定することによって決定されます。ユーザーインタラクションをより適切に表現するために、Spatial-DCTとFeature-DCTで構成されるDynamic Click Transform Network〜(DCT-Net)を提案します。 Spatial-DCTは、ユーザーが提供した各クリックをターゲットスケールに従って個別の拡散距離で変換し、Feature-DCTは、抽出された特徴マップを、クリックされたポイントから予測された特定の分布に正規化します。提案された方法の有効性を実証し、3つの標準ベンチマークデータセットで最先端と比較して好ましいパフォーマンスを達成します。
In the interactive segmentation, users initially click on the target object to segment the main body and then provide corrections on mislabeled regions to iteratively refine the segmentation masks. Most existing methods transform these user-provided clicks into interaction maps and concatenate them with image as the input tensor. Typically, the interaction maps are determined by measuring the distance of each pixel to the clicked points, ignoring the relation between clicks and mislabeled regions. We propose a Dynamic Click Transform Network~(DCT-Net), consisting of Spatial-DCT and Feature-DCT, to better represent user interactions. Spatial-DCT transforms each user-provided click with individual diffusion distance according to the target scale, and Feature-DCT normalizes the extracted feature map to a specific distribution predicted from the clicked points. We demonstrate the effectiveness of our proposed method and achieve favorable performance compared to the state-of-the-art on three standard benchmark datasets.