事前に構築されたモデルやアルゴリズムを含む複数のサービスを提供するため、Machine Learning as a Service(MLaaS)Vision APIの使用が増加しています。これらのサービスは、ゼロから構築すると膨大なリソースを消費します。これらのAPIはハイステークスアプリケーションにデプロイされるため、さまざまな操作に対して堅牢であることが非常に重要です。最近の研究は、ビジョンAPIの堅牢性を評価する際に、典型的な敵対的攻撃にのみ焦点を当てています。敵対的な画像生成方法の2つの新しい側面を提案し、sightengine.com、picpurify.com、Google Cloud VisionAPIなどの実際の設定でデプロイされたGoogleCloud VisionAPIの光学式文字認識サービスとオブジェクト検出APIの堅牢性について評価します。およびMicrosoftAzureのComputerVisionAPI。具体的には、従来の小さなノイズの敵対攻撃を超えて、堅牢性を評価するためのより簡単な方法として、秘密の埋め込みと透過的な敵対者の例を紹介します。これらの方法は非常に単純なので、専門家でなくてもそのような攻撃を仕掛けることができます。その結果、APIがハイステークスアプリケーションに使用されるという深刻な脅威をもたらします。透過的な敵対的な例は、Azure Cloud Vision(攻撃成功率52%)やGoogle Cloud Vision(攻撃成功率36%)などの最先端のオブジェクト検出APIをうまく回避しています。画像の90%には、時間制限のある人間の視覚をうまく欺く秘密の埋め込みテキストが含まれていますが、Google Cloud VisionAPIの光学式文字認識によって検出されます。現在の研究を補完するものとして、私たちの結果は、ロバスト性評価に関するシンプルでありながら型にはまらない方法を提供します。
There has been a rise in the use of Machine Learning as a Service (MLaaS) Vision APIs as they offer multiple services including pre-built models and algorithms, which otherwise take a huge amount of resources if built from scratch. As these APIs get deployed for high-stakes applications, it's very important that they are robust to different manipulations. Recent works have only focused on typical adversarial attacks when evaluating the robustness of vision APIs. We propose two new aspects of adversarial image generation methods and evaluate them on the robustness of Google Cloud Vision API's optical character recognition service and object detection APIs deployed in real-world settings such as sightengine.com, picpurify.com, Google Cloud Vision API, and Microsoft Azure's Computer Vision API. Specifically, we go beyond the conventional small-noise adversarial attacks and introduce secret embedding and transparent adversarial examples as a simpler way to evaluate robustness. These methods are so straightforward that even non-specialists can craft such attacks. As a result, they pose a serious threat where APIs are used for high-stakes applications. Our transparent adversarial examples successfully evade state-of-the art object detections APIs such as Azure Cloud Vision (attack success rate 52%) and Google Cloud Vision (attack success rate 36%). 90% of the images have a secret embedded text that successfully fools the vision of time-limited humans but is detected by Google Cloud Vision API's optical character recognition. Complementing to current research, our results provide simple but unconventional methods on robustness evaluation.