ほとんどの機械学習モデルは、固定データセットで検証およびテストされています。これにより、モデルの機能と弱点の全体像が不完全になる可能性があります。このような弱点は、現実世界でのテスト時に明らかになる可能性があります。このような障害に伴うリスクは、特定の重要なアプリケーションでの利益の損失、時間の損失、または人命の損失でさえある可能性があります。この問題を軽減するために、解釈可能なパラメーターを使用してシミュレーターをきめ細かく制御し、セマンティック イメージの多様体を探索できます。この作業では、シミュレーターを使用して敵対的な方法で機械学習アルゴリズムをテストする方法を学習するためのフレームワークを提案し、重要なシナリオに展開する前にモデルの弱点を見つけます。このモデルを顔認識シナリオに適用します。実際のデータでトレーニングされたモデルの弱点は、シミュレートされたサンプルを使用して発見できることを初めて示しました。提案された方法を使用すると、現代の顔認識モデルを欺く敵対的な合成顔を見つけることができます。これは、これらのモデルに、一般的に使用されている検証データセットでは測定できない弱点があるという事実を示しています。この種の敵対的な例は孤立していないが、通常はシミュレーターの潜在空間内の接続されたコンポーネントに存在すると仮定します。敵対的な例の文献に見られる典型的な敵対的なポイントとは対照的に、これらの敵対的な領域を見つける方法を紹介します。
Most machine learning models are validated and tested on fixed datasets. This can give an incomplete picture of the capabilities and weaknesses of the model. Such weaknesses can be revealed at test time in the real world. The risks involved in such failures can be loss of profits, loss of time or even loss of life in certain critical applications. In order to alleviate this issue, simulators can be controlled in a fine-grained manner using interpretable parameters to explore the semantic image manifold. In this work, we propose a framework for learning how to test machine learning algorithms using simulators in an adversarial manner in order to find weaknesses in the model before deploying it in critical scenarios. We apply this model in a face recognition scenario. We are the first to show that weaknesses of models trained on real data can be discovered using simulated samples. Using our proposed method, we can find adversarial synthetic faces that fool contemporary face recognition models. This demonstrates the fact that these models have weaknesses that are not measured by commonly used validation datasets. We hypothesize that this type of adversarial examples are not isolated, but usually lie in connected components in the latent space of the simulator. We present a method to find these adversarial regions as opposed to the typical adversarial points found in the adversarial example literature.