arXiv reaDer
Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations
深層学習モデルは、画像分析に広く使用されています。それらは精度の点で高いパフォーマンスを提供しますが、人々はこれらのモデルが特定の画像のターゲットオブジェクトからエンコードされていない無関係な機能を使用して不適切に推論を行うかどうかを心配しています。この懸念に対処するために、関連性のない機能に基づいて特定の推論が行われたかどうかを評価するメタモルフィックテストアプローチを提案します。具体的には、このような不適切な推論を検出するために、2つの新しいメタモルフィック関係を提案します。このアプローチを、ImageNet、COCO、Pascal VOCの3つの大きなデータセットを使用して、10個の画像分類モデルと10個のオブジェクト検出モデルに適用しました。画像分類モデルによって行われた上位5つの正しい予測の5.3%以上が、無関係な機能を使用した不適切な推論の対象となります。物体検出モデルの対応率は8.5%を超えています。調査結果に基づいて、既存のモデルを効果的に攻撃できる新しい画像生成戦略をさらに設計しました。ベースラインアプローチと比較すると、私たちの戦略は攻撃の成功率を2倍にすることができます。
Deep learning models are widely used for image analysis. While they offer high performance in terms of accuracy, people are concerned about if these models inappropriately make inferences using irrelevant features that are not encoded from the target object in a given image. To address the concern, we propose a metamorphic testing approach that assesses if a given inference is made based on irrelevant features. Specifically, we propose two novel metamorphic relations to detect such inappropriate inferences. We applied our approach to 10 image classification models and 10 object detection models, with three large datasets, i.e., ImageNet, COCO, and Pascal VOC. Over 5.3% of the top-5 correct predictions made by the image classification models are subject to inappropriate inferences using irrelevant features. The corresponding rate for the object detection models is over 8.5%. Based on the findings, we further designed a new image generation strategy that can effectively attack existing models. Comparing with a baseline approach, our strategy can double the success rate of attacks.
updated: Mon May 24 2021 07:10:53 GMT+0000 (UTC)
published: Fri Sep 06 2019 13:31:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト