クリックベースのインタラクティブな画像セグメンテーションは、限られたユーザーのクリックでオブジェクトを抽出することを目的としています。階層バックボーンは、現在のメソッドの事実上のアーキテクチャです。最近、プレーンで非階層的なビジョン トランスフォーマー (ViT) が、高密度の予測タスクの競争力のあるバックボーンとして登場しました。この設計により、元の ViT は、事前トレーニング用の階層バックボーンを再設計することなく、ダウンストリーム タスク用に微調整できる基盤モデルになることができます。この設計はシンプルで効果的であることが証明されていますが、インタラクティブなセグメンテーションについてはまだ検討されていません。このギャップを埋めるために、インタラクティブなセグメンテーションのために、アーキテクチャのシンプルさから SimpleClick と呼ばれる最初のプレーン バックボーン メソッドを提案します。マスク オートエンコーダー (MAE) として事前トレーニングされたプレーン バックボーンを使用して、SimpleClick は最先端のパフォーマンスを実現します。驚くべきことに、私たちの方法は SBD で 4.15 NoC@90 を達成し、以前の最高の結果よりも 21.8% 向上しています。医用画像の広範な評価は、私たちの方法の一般化可能性を示しています。また、この方法の計算コストの詳細な分析を提供し、実用的な注釈ツールとしての適合性を強調しています。
Click-based interactive image segmentation aims at extracting objects with limited user clicking. A hierarchical backbone is the de-facto architecture for current methods. Recently, the plain, non-hierarchical Vision Transformer (ViT) has emerged as a competitive backbone for dense prediction tasks. This design allows the original ViT to be a foundation model that can be finetuned for downstream tasks without redesigning a hierarchical backbone for pretraining. Although this design is simple and has been proven effective, it has not yet been explored for interactive segmentation. To fill this gap, we propose the first plain-backbone method, termed SimpleClick due to its simplicity in architecture, for interactive segmentation. With the plain backbone pretrained as a masked autoencoder (MAE), SimpleClick achieves state-of-the-art performance. Remarkably, our method achieves 4.15 NoC@90 on SBD, improving 21.8% over the previous best result. Extensive evaluation on medical images shows the generalizability of our method. We also provide a detailed analysis of the computational cost for our method, highlighting its suitability as a practical annotation tool.