arXiv reaDer
CAGFuzz: Coverage-Guided Adversarial Generative Fuzzing Testing of Deep Learning Systems
 ディープニューラルネットワーク(DNN)に基づくディープラーニングシステム(DL)は、無人車両、音声処理、ロボットなど、私たちの生活のさまざまな側面でますます使用されています。ただし、データセットが制限されており、手動のラベリングデータに依存しているため、DNNは多くの場合、誤った動作を検出できず、深刻な問題につながる可能性があります。 DLシステムをテストするための入力例を強化するために、いくつかのアプローチが提案されています。ただし、次の制限があります。まず、モデルの観点から敵対的な例を設計および生成します。これにより、他のモデルに適用すると一般化能力が低下する可能性があります。第二に、表面特徴の制約のみを使用して、生成された敵対的な例と元の例との違いを判断します。画像オブジェクトのカテゴリやシーンのセマンティクスなどの高レベルのセマンティック情報を含む深い機能の制約は完全に無視されます。これら2つの問題に対処するために、本書では、対象となるDNNの敵の例を生成して潜在的な欠陥を発見する、カバレッジガイド型の敵対的ファジングテストアプローチであるCAGFuzzを提案します。まず、一般的なデータセットの観点から敵対ケースジェネレーター(AEG)をトレーニングします。次に、元の例と敵の例の深さの特徴を抽出し、敵の例の意味情報が変更されないようにするために、コサインの類似性によって敵の例を制約します。最後に、効果的な敵対者の例を再訓練して、ニューロンテストのカバレッジ率を改善します。いくつかの一般的なデータセットに基づいて、CAGFuzzを評価する専用の実験セットを設計します。実験結果は、CAGFuzzがニューロンのカバー率を改善し、隠れたエラーを検出し、ターゲットDNNの精度を改善できることを示しています。
Deep Learning systems (DL) based on Deep Neural Networks (DNNs) are more and more used in various aspects of our life, including unmanned vehicles, speech processing, and robotics. However, due to the limited dataset and the dependence on manual labeling data, DNNs often fail to detect their erroneous behaviors, which may lead to serious problems. Several approaches have been proposed to enhance the input examples for testing DL systems. However, they have the following limitations. First, they design and generate adversarial examples from the perspective of model, which may cause low generalization ability when they are applied to other models. Second, they only use surface feature constraints to judge the difference between the adversarial example generated and the original example. The deep feature constraints, which contain high-level semantic information, such as image object category and scene semantics are completely neglected. To address these two problems, in this paper, we propose CAGFuzz, a Coverage-guided Adversarial Generative Fuzzing testing approach, which generates adversarial examples for a targeted DNN to discover its potential defects. First, we train an adversarial case generator (AEG) from the perspective of general data set. Second, we extract the depth features of the original and adversarial examples, and constrain the adversarial examples by cosine similarity to ensure that the semantic information of adversarial examples remains unchanged. Finally, we retrain effective adversarial examples to improve neuron testing coverage rate. Based on several popular data sets, we design a set of dedicated experiments to evaluate CAGFuzz. The experimental results show that CAGFuzz can improve the neuron coverage rate, detect hidden errors, and also improve the accuracy of the target DNN.
updated: Thu May 21 2020 02:32:29 GMT+0000 (UTC)
published: Thu Nov 14 2019 10:32:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト