arXiv reaDer
デジタルパソロジー用の何でもモデル (SAM) のセグメント化: スライド全体のイメージングでゼロ ショット セグメンテーションを評価する
Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot Segmentation on Whole Slide Imaging
セグメント エニシング モデル (SAM) は、画像セグメンテーションの基盤モデルとしてリリースされました。プロンプタブル セグメンテーション モデルは、1,100 万ライセンスのプライバシーを尊重した画像で 10 億を超えるマスクによってトレーニングされました。このモデルは、さまざまなセグメンテーション プロンプト (ポイント、ボックス、マスクなど) を使用したゼロ ショット イメージ セグメンテーションをサポートしています。これにより、SAM は医用画像解析、特にトレーニング データが少ないデジタル病理学にとって魅力的になります。この研究では、(1) 腫瘍のセグメンテーション、(2) 非腫瘍組織のセグメンテーション、(3) 細胞核のセグメンテーションを含む、全スライド イメージング (WSI) の代表的なセグメンテーション タスクにおける SAM モデルのゼロ ショット セグメンテーション パフォーマンスを評価します。主要な結果: この結果は、ゼロ ショット SAM モデルが、接続された大きなオブジェクトに対して驚くべきセグメンテーション パフォーマンスを達成することを示唆しています。ただし、イメージごとに 20 回のプロンプト (クリック/ボックス) を使用しても、密なインスタンス オブジェクト セグメンテーションで満足のいくパフォーマンスを一貫して達成できるわけではありません。また、デジタル病理学の特定された制限をまとめました: (1) 画像解像度、(2) 複数のスケール、(3) 迅速な選択、および (4) モデルの微調整。将来的には、下流の病理学的セグメンテーション タスクからの画像を使用した少数ショットの微調整により、モデルが密なオブジェクト セグメンテーションでより優れたパフォーマンスを達成するのに役立つ可能性があります。
The segment anything model (SAM) was released as a foundation model for image segmentation. The promptable segmentation model was trained by over 1 billion masks on 11M licensed and privacy-respecting images. The model supports zero-shot image segmentation with various segmentation prompts (e.g., points, boxes, masks). It makes the SAM attractive for medical image analysis, especially for digital pathology where the training data are rare. In this study, we evaluate the zero-shot segmentation performance of SAM model on representative segmentation tasks on whole slide imaging (WSI), including (1) tumor segmentation, (2) non-tumor tissue segmentation, (3) cell nuclei segmentation. Core Results: The results suggest that the zero-shot SAM model achieves remarkable segmentation performance for large connected objects. However, it does not consistently achieve satisfying performance for dense instance object segmentation, even with 20 prompts (clicks/boxes) on each image. We also summarized the identified limitations for digital pathology: (1) image resolution, (2) multiple scales, (3) prompt selection, and (4) model fine-tuning. In the future, the few-shot fine-tuning with images from downstream pathological segmentation tasks might help the model to achieve better performance in dense object segmentation.
updated: Sun Apr 09 2023 04:06:59 GMT+0000 (UTC)
published: Sun Apr 09 2023 04:06:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト