ディープニューラルネットワーク(DNN)は、敵対的な攻撃に対して脆弱であることがよく知られています。この攻撃では、人間が認識できない悪意のある摂動がディープネットワークへの入力に含まれ、誤った分類を行うように仕向けられます。最近の研究では、神経常微分方程式(ODE)は、バニラDNNと比較して、敵対的な攻撃に対して本質的に堅牢であることが示されています。この作業では、敵対的攻撃(SODEF)から防御するためのリアプノフ安定平衡点を持つ安定神経常微分方程式を提案します。 SODEFの一部として使用されるODE解の平衡点がリアプノフ安定であることを確認することにより、摂動が小さい入力のODE解は、摂動されていない入力と同じ解に収束します。 SODEFの安定性と、その安定性を確保するためのレギュラライザーの選択についての洞察を与える理論的な結果を提供します。私たちの分析は、提案された正規化器が、抽出された特徴点をODEのリアプノフ安定平衡点の近傍内に強制することを示唆しています。 SODEFは多くの防御方法と互換性があり、任意のニューラルネットワークの最終リグレッサレイヤーに適用して、敵対的な攻撃に対する安定性を高めることができます。
Deep neural networks (DNNs) are well-known to be vulnerable to adversarial attacks, where malicious human-imperceptible perturbations are included in the input to the deep network to fool it into making a wrong classification. Recent studies have demonstrated that neural Ordinary Differential Equations (ODEs) are intrinsically more robust against adversarial attacks compared to vanilla DNNs. In this work, we propose a stable neural ODE with Lyapunov-stable equilibrium points for defending against adversarial attacks (SODEF). By ensuring that the equilibrium points of the ODE solution used as part of SODEF is Lyapunov-stable, the ODE solution for an input with a small perturbation converges to the same solution as the unperturbed input. We provide theoretical results that give insights into the stability of SODEF as well as the choice of regularizers to ensure its stability. Our analysis suggests that our proposed regularizers force the extracted feature points to be within a neighborhood of the Lyapunov-stable equilibrium points of the ODE. SODEF is compatible with many defense methods and can be applied to any neural network's final regressor layer to enhance its stability against adversarial attacks.