画像の相互運用性を評価するアプローチとして顕著性マップ アルゴリズムを導入したことで、人工知能による現在のブラック ボックス モデルをより深く理解できるようになりました。人気の高まりにより、これらのアルゴリズムは医療画像処理を含む複数の分野に適用されるようになりました。分類タスクが医療分野と同様に重要であるため、その能力を厳密にテストする必要性が生じます。現在の研究では、人間の注釈との比較を通じて、画像内の医学的異常に関する顕著性マップの位置を評価することで機能を検査しています。私たちは、このような既存のメトリクスの精度をさらに高めると同時に、人間による注釈の必要性を超えて一般化するために、セグメント エニシング モデル (SAM) を利用することを提案します。私たちの結果は、既存の指標との高い類似性を示すとともに、人間によるアノテーションを超えたこの方法論の機能を強調しています。さらに、セグメント化前の画像前処理、CLIP-SAM 形式での SAM への自然言語提案、複数の医療画像データセットにわたる SAM の精度など、医療分野における SAM の応用 (および課題) を調査します。
The introduction of saliency map algorithms as an approach for assessing the interoperability of images has allowed for a deeper understanding of current black-box models with Artificial Intelligence. Their rise in popularity has led to these algorithms being applied in multiple fields, including medical imaging. With a classification task as important as those in the medical domain, a need for rigorous testing of their capabilities arises. Current works examine capabilities through assessing the localization of saliency maps upon medical abnormalities within an image, through comparisons with human annotations. We propose utilizing Segment Anything Model (SAM) to both further the accuracy of such existing metrics, while also generalizing beyond the need for human annotations. Our results show both high degrees of similarity to existing metrics while also highlighting the capabilities of this methodology to beyond human-annotation. Furthermore, we explore the applications (and challenges) of SAM within the medical domain, including image pre-processing before segmenting, natural language proposals to SAM in the form of CLIP-SAM, and SAM accuracy across multiple medical imaging datasets.