敵対的な例は、特に画像領域において、深層学習モデルに対する懸念の脅威であることが証明されています。ただし、多くの研究で現実世界の敵対的な例が調査されていますが、それらのほとんどは攻撃シーンの2D写真に依存しています。その結果、提案された攻撃は、3Dオブジェクトまたはさまざまな条件のある現実的な環境で実装された場合、効果が制限される可能性があります。 3Dオブジェクトを使用する敵対的学習に関する研究はほとんどなく、多くの場合、他の研究者は実際の評価プロセスを再現することができません。この研究では、3Dモデリングを使用して、既存の実世界のシーンの敵対的なパッチを作成するフレームワークを紹介します。私たちのアプローチでは、実世界のシミュレーションとしてシーンの3Dデジタル近似を使用します。私たちのフレームワークは、デジタルシーンの任意の要素を追加および操作する機能を備えているため、攻撃者は実際の設定で敵対的なパッチの影響を改善できます。フレームワークを使用して日常のシーンのパッチを作成し、新しい評価プロセスを使用してそのパフォーマンスを評価します。これにより、デジタル空間と実世界の両方で結果を再現できるようになります。私たちの評価結果は、フレームワークが現実世界のさまざまな設定に対して堅牢な敵対的なパッチを生成できることを示しています。
Adversarial examples have proven to be a concerning threat to deep learning models, particularly in the image domain. However, while many studies have examined adversarial examples in the real world, most of them relied on 2D photos of the attack scene. As a result, the attacks proposed may have limited effectiveness when implemented in realistic environments with 3D objects or varied conditions. There are few studies on adversarial learning that use 3D objects, and in many cases, other researchers are unable to replicate the real-world evaluation process. In this study, we present a framework that uses 3D modeling to craft adversarial patches for an existing real-world scene. Our approach uses a 3D digital approximation of the scene as a simulation of the real world. With the ability to add and manipulate any element in the digital scene, our framework enables the attacker to improve the adversarial patch's impact in real-world settings. We use the framework to create a patch for an everyday scene and evaluate its performance using a novel evaluation process that ensures that our results are reproducible in both the digital space and the real world. Our evaluation results show that the framework can generate adversarial patches that are robust to different settings in the real world.