基礎モデルとしても知られる大規模モデルの出現は、AI 研究に大きな進歩をもたらしました。そのようなモデルの 1 つが、画像セグメンテーション タスク用に設計された Segment Anything (SAM) です。ただし、他の基盤モデルと同様に、私たちの実験結果は、SAM が影の検出やカモフラージュされたオブジェクトの検出 (隠れたオブジェクトの検出) などの特定のセグメンテーション タスクで失敗するか、パフォーマンスが低下する可能性があることを示唆しています。この研究は、SAM のパフォーマンスが低い状況でも、大規模な事前トレーニング済みの画像セグメンテーション モデル SAM をこれらのダウンストリーム タスクに適用する道を開きます。 SAM ネットワークを微調整するのではなく、シンプルで効果的なアダプターを使用して、ドメイン固有の情報または視覚的なプロンプトをセグメンテーション ネットワークに組み込む SAM アダプターを提案します。私たちの広範な実験は、SAM-Adapter が困難なタスクで SAM のパフォーマンスを大幅に向上させ、タスク固有のネットワーク モデルを凌駕し、テストしたタスクで最先端のパフォーマンスを達成できることを示しています: カモフラージュ オブジェクトの検出と影の検出.私たちの研究は、医療用画像処理、農業、リモート センシングなど、さまざまな分野での潜在的なアプリケーションを使用して、ダウンストリーム タスクで SAM を利用する機会を開くと信じています。
The emergence of large models, also known as foundation models, has brought significant advancements to AI research. One such model is Segment Anything (SAM), which is designed for image segmentation tasks. However, as with other foundation models, our experimental findings suggest that SAM may fail or perform poorly in certain segmentation tasks, such as shadow detection and camouflaged object detection (concealed object detection). This study first paves the way for applying the large pre-trained image segmentation model SAM to these downstream tasks, even in situations where SAM performs poorly. Rather than fine-tuning the SAM network, we propose SAM-Adapter, which incorporates domain-specific information or visual prompts into the segmentation network by using simple yet effective adapters. Our extensive experiments show that SAM-Adapter can significantly elevate the performance of SAM in challenging tasks and we can even outperform task-specific network models and achieve state-of-the-art performance in the task we tested: camouflaged object detection and shadow detection. We believe our work opens up opportunities for utilizing SAM in downstream tasks, with potential applications in various fields, including medical image processing, agriculture, remote sensing, and more.