arXiv reaDer
励起の持続性によるニューラルネットワークのロバスト性の改善
Improving Neural Network Robustness via Persistency of Excitation
ニューラルネットワークの敵対的なロバスト性を改善することは、依然として大きな課題です。基本的に、勾配降下法によるニューラルネットワークのトレーニングはパラメーター推定の問題です。適応制御では、励起の持続性(PoE)を維持することは、動的システムのパラメーター推定値を真の値に確実に収束させるために不可欠です。勾配降下法によるパラメーター推定は、適応線形時変連続システムのサンプリングとしてモデル化できることを示します。このモデルを活用し、モデル参照適応制御(MRAC)からのインスピレーションを得て、真急降下法の更新を制約して、真のパラメーターに収束する持続的に励起された軌道を参照するのに十分な条件を証明します。学習率が損失関数の勾配のリプシッツ定数の逆数よりも小さい場合、十分な条件が達成されます。極値理論を使用して、実際に対応するリプシッツ定数を推定するための効率的な手法を提供します。標準トレーニングと敵対的トレーニングの両方での実験結果は、PoEに動機付けられた学習率スケジュールでトレーニングされたネットワークは、同様のクリーンな精度を持ちますが、現在の最先端のヒューリスティックを使用してトレーニングされたモデルよりも敵対的攻撃に対して大幅に堅牢であることを示しています。
Improving adversarial robustness of neural networks remains a major challenge. Fundamentally, training a neural network via gradient descent is a parameter estimation problem. In adaptive control, maintaining persistency of excitation (PoE) is integral to ensuring convergence of parameter estimates in dynamical systems to their true values. We show that parameter estimation with gradient descent can be modeled as a sampling of an adaptive linear time-varying continuous system. Leveraging this model, and with inspiration from Model-Reference Adaptive Control (MRAC), we prove a sufficient condition to constrain gradient descent updates to reference persistently excited trajectories converging to the true parameters. The sufficient condition is achieved when the learning rate is less than the inverse of the Lipschitz constant of the gradient of loss function. We provide an efficient technique for estimating the corresponding Lipschitz constant in practice using extreme value theory. Our experimental results in both standard and adversarial training illustrate that networks trained with the PoE-motivated learning rate schedule have similar clean accuracy but are significantly more robust to adversarial attacks than models trained using current state-of-the-art heuristics.
updated: Thu Oct 14 2021 05:33:06 GMT+0000 (UTC)
published: Thu Jun 03 2021 18:49:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト