arXiv reaDer
インタラクティブな医用画像セグメンテーションにおける SAM の一時的に拡張されたプロンプトの最適化
Temporally-Extended Prompts Optimization for SAM in Interactive Medical Image Segmentation
Segmentation Anything Model (SAM) は、画像のセグメンテーションに対処するための基礎モデルとして最近登場しました。医療画像の本質的な複雑さとアノテーションのコストが高いため、医療画像セグメンテーション (MIS) コミュニティは、自動アノテーションを容易にする SAM のゼロショット機能を調査することが奨励されています。インタラクティブ医用画像セグメンテーション (IMIS) パラダイムの驚異的な成果に触発されたこのホワイトペーパーは、IMIS パラダイム内での SAM のゼロショット機能の可能性を評価して、MIS ドメインでのメリットを拡大することに焦点を当てています。残念なことに、プロンプト フォーム (ポイント、境界ボックスなど) に対する SAM の脆弱性が IMIS では顕著になることがわかりました。これにより、人間の専門家に適切な即時フォームを適応的に提供するフレームワークを開発することができます。上記のフレームワークを時間拡張プロンプト最適化 (TEPO) と呼び、強化学習を通じて解決可能なマルコフ決定プロセスとしてモデル化します。標準化されたベンチマーク BraTS2020 での数値実験により、学習された TEPO エージェントが MIS コンテキストにおける SAM のゼロショット機能をさらに強化できることが実証されました。
The Segmentation Anything Model (SAM) has recently emerged as a foundation model for addressing image segmentation. Owing to the intrinsic complexity of medical images and the high annotation cost, the medical image segmentation (MIS) community has been encouraged to investigate SAM's zero-shot capabilities to facilitate automatic annotation. Inspired by the extraordinary accomplishments of interactive medical image segmentation (IMIS) paradigm, this paper focuses on assessing the potential of SAM's zero-shot capabilities within the IMIS paradigm to amplify its benefits in the MIS domain. Regrettably, we observe that SAM's vulnerability to prompt forms (e.g., points, bounding boxes) becomes notably pronounced in IMIS. This leads us to develop a framework that adaptively offers suitable prompt forms for human experts. We refer to the framework above as temporally-extended prompts optimization (TEPO) and model it as a Markov decision process, solvable through reinforcement learning. Numerical experiments on the standardized benchmark BraTS2020 demonstrate that the learned TEPO agent can further enhance SAM's zero-shot capability in the MIS context.
updated: Thu Jun 15 2023 08:51:24 GMT+0000 (UTC)
published: Thu Jun 15 2023 08:51:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト