arXiv reaDer
PiClick: クリックベースの対話型セグメンテーションで目的のマスクを選択する
PiClick: Picking the desired mask in click-based interactive segmentation
クリックベースのインタラクティブなセグメンテーションにより、ユーザーがクリックするだけで生産的なピクセルレベルの注釈と画像編集が可能になりますが、ターゲットのあいまいさが正確なセグメンテーションを妨げる問題のままです。つまり、リッチ コンテキストのあるシーンでは、1 回のクリックで対応するマスクに存在する複数の潜在的なターゲットを参照できますが、ほとんどの対話型セグメンターは 1 つのマスクしか生成できず、リッチ コンテキストをキャプチャできません。ターゲットのあいまいさを解決するために、PiClick を使用して意味的に多様なマスクを生成することを提案します。 PiClick は、相互に対話的なマスク クエリが統合されてターゲットの事前確率を注入するトランスフォーマー ネットワーク設計を活用します。さらに、ターゲット推論モジュールは PiClick で設計されており、すべての提案から最適なマスクを自動的に暗示し、ターゲットのあいまいさと余分な人的介入を大幅に軽減します。 9 つのインタラクティブなセグメンテーション データセットすべてに対して実施された広範な実験は、PiClick の最先端のセグメンテーション パフォーマンスを実証するだけでなく、複数の提案生成とターゲット推論により人間の介入を減らします。直接的な使用と将来の取り組みを促進するために、https://github.com/cilinyan/PiClick でプラグアンドプレイの注釈ツールと共に PiClick のソース コードをリリースします。
Click-based interactive segmentation enables productive pixel-level annotation and image editing with simple user clicks, whereas target ambiguity remains a problem hindering precise segmentation. That is, in scenes with rich context, one click may refer to multiple potential targets residing in corresponding masks, while most interactive segmentors can only generate one single mask and fail to capture the rich context. To resolve target ambiguity, we here propose PiClick to produce semantically diversified masks. PiClick leverages a transformer network design wherein mutually interactive mask queries are integrated to infuse target priors. Moreover, a Target Reasoning Module is designed in PiClick to automatically imply the best-matched mask from all proposals, significantly relieving target ambiguity as well as extra human intervention. Extensive experiments conducted on all 9 interactive segmentation datasets not only demonstrate the state-of-the-art segmentation performance of PiClick, but also reduces human interventions with multiple proposal generation and target reasoning. To promote direct usage and future endeavors, we release the source code of PiClick together with a plug-and-play annotation tool at https://github.com/cilinyan/PiClick.
updated: Sun Apr 23 2023 10:46:16 GMT+0000 (UTC)
published: Sun Apr 23 2023 10:46:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト