セグメント エニシング モデル (SAM) は、その名前が示すように、あらゆるオブジェクトを切り出すことができると主張されており、プロンプトのガイダンスによって印象的なゼロショット転送パフォーマンスを実証します。しかし、さまざまな腐敗に対する堅牢性については、総合的な評価が不足しているのが現状です。さまざまな破損シナリオに対する SAM の堅牢性を理解することは、SAM を実際に展開するために重要です。これまでの研究では、SAM が形状ではなくテクスチャ (スタイル) に偏っていることが示されており、その動機として、合成破損であるスタイル転送に対する SAM の堅牢性を調査することから始めます。スタイルの変化としての破損の影響の解釈に続いて、15 種類の一般的な破損に対する SAM の堅牢性の包括的な評価を実行します。これらの破損は主に、デジタル、ノイズ、天候、ぼやけなどのカテゴリに分類されます。これらの各破損カテゴリ内で 5 つの重大度レベルを調査し、現実世界の破損シナリオをシミュレートします。破損以外にも、画像内のローカル オクルージョンとローカル敵対的パッチ攻撃に関する堅牢性をさらに評価します。私たちの知る限り、私たちの研究は、スタイル変更、ローカル オクルージョン、およびローカル敵対的パッチ攻撃の下で SAM の堅牢性を評価するこの種の最初の研究です。人間の目に見えるパッチ攻撃は簡単に検出できることを考慮して、人間の目には知覚できない敵対的な摂動に対する SAM の堅牢性も評価します。全体として、この研究は SAM の堅牢性に関する包括的な実証研究を提供し、さまざまな破損下でのパフォーマンスを評価し、評価をローカル オクルージョン、ローカル パッチ攻撃、知覚できない敵対的摂動などの重要な側面に拡張し、SAM の実際的な適用可能性と有効性についての貴重な洞察をもたらします。現実世界の課題に対処します。
Segment anything model (SAM), as the name suggests, is claimed to be capable of cutting out any object and demonstrates impressive zero-shot transfer performance with the guidance of a prompt. However, there is currently a lack of comprehensive evaluation regarding its robustness under various corruptions. Understanding SAM's robustness across different corruption scenarios is crucial for its real-world deployment. Prior works show that SAM is biased towards texture (style) rather than shape, motivated by which we start by investigating SAM's robustness against style transfer, which is synthetic corruption. Following the interpretation of the corruption's effect as style change, we proceed to conduct a comprehensive evaluation of the SAM for its robustness against 15 types of common corruption. These corruptions mainly fall into categories such as digital, noise, weather, and blur. Within each of these corruption categories, we explore 5 severity levels to simulate real-world corruption scenarios. Beyond the corruptions, we further assess its robustness regarding local occlusion and local adversarial patch attacks in images. To the best of our knowledge, our work is the first of its kind to evaluate the robustness of SAM under style change, local occlusion, and local adversarial patch attacks. Considering that patch attacks visible to human eyes are easily detectable, we also assess SAM's robustness against adversarial perturbations that are imperceptible to human eyes. Overall, this work provides a comprehensive empirical study on SAM's robustness, evaluating its performance under various corruptions and extending the assessment to critical aspects like local occlusion, local patch attacks, and imperceptible adversarial perturbations, which yields valuable insights into SAM's practical applicability and effectiveness in addressing real-world challenges.