最近、3D 深層学習モデルは、2D モデルと同様に敵対攻撃の影響を受けやすいことが示されています。最先端 (SOTA) の 3D 敵対攻撃のほとんどは、3D ポイント クラウドに対して摂動を実行します。これらの攻撃を疑似物理シナリオで再現するには、生成された敵対的 3D ポイント クラウドをメッシュに再構築する必要があります。これにより、その敵対的効果が大幅に低下します。この論文では、メッシュ攻撃と呼ばれる強力な 3D 敵対的攻撃を提案し、3D オブジェクトのメッシュに摂動を直接実行することでこの問題に対処します。具体的には、私たちの方法の各反復では、メッシュは最初に微分可能なサンプル モジュールによって点群にサンプリングされます。次に、点群分類器を使用して、結合された損失を逆伝播し、メッシュの頂点を更新します。結合された損失には、点群分類器を誤解させる敵対的損失と、メッシュをスムーズにするための 3 つのメッシュ損失が含まれます。大規模な実験により、提案されたスキームが、疑似物理シナリオで SOTA 3D 攻撃よりも大幅に優れていることが示されています。また、さまざまな防御の下でSOTAパフォーマンスを達成しました。さらに、私たちの知る限り、メッシュ攻撃はメッシュ分類器に対する敵対的な攻撃の最初の試みです。私たちのコードは https://github.com/cuge1995/Mesh-Attack で入手できます。
Recently, 3D deep learning models have been shown to be susceptible to adversarial attacks like their 2D counterparts. Most of the state-of-the-art (SOTA) 3D adversarial attacks perform perturbation to 3D point clouds. To reproduce these attacks in pseudo physical scenario, a generated adversarial 3D point cloud need to be reconstructed to mesh, which leads to a significant drop in its adversarial effect. In this paper, we propose a strong 3D adversarial attack named Mesh Attack to address this problem by directly performing perturbation on mesh of a 3D object. Specifically, in each iteration of our method, the mesh is first sampled to point cloud by a differentiable sample module. Then a point cloud classifier is used to back-propagate a combined loss to update the mesh vertices. The combined loss includes an adversarial loss to mislead the point cloud classifier and three mesh losses to regularize the mesh to be smooth. Extensive experiments demonstrate that the proposed scheme outperforms SOTA 3D attacks by a significant margin in the pseudo physical scenario. We also achieved SOTA performance under various defenses. Moreover, to the best of our knowledge, our Mesh Attack is the first attempt of adversarial attack on mesh classifier. Our code is available at: https://github.com/cuge1995/Mesh-Attack.