人工知能技術の活発な発展に伴い、さまざまな工学技術のアプリケーションが次々と実装されてきました。最急降下法は、その単純な構造、優れた安定性、および簡単な実装により、さまざまな最適化問題を解決する上で重要な役割を果たします。マルチノードの機械学習システムでは、通常、勾配を共有する必要があります。共有グラデーションは一般的に安全ではありません。攻撃者は、勾配情報を知るだけでトレーニングデータを取得できます。本論文では、モデルの精度を維持しながら勾配漏れを防ぐために、勾配ベクトルのモジュラス長を隠し、それまたはそれらを単位ベクトルに変換することによってパラメータを更新する超確率的勾配降下法を提案します。さらに、超確率的勾配降下法の安全性を分析します。私たちのアルゴリズムは、勾配への攻撃から防御することができます。実験結果は、精度、堅牢性、および大規模バッチへの適応性の点で、私たちのアプローチが一般的な勾配降下アプローチよりも明らかに優れていることを示しています。
With the vigorous development of artificial intelligence technology, various engineering technology applications have been implemented one after another. The gradient descent method plays an important role in solving various optimization problems, due to its simple structure, good stability and easy implementation. In multi-node machine learning system, the gradients usually need to be shared. Shared gradients are generally unsafe. Attackers can obtain training data simply by knowing the gradient information. In this paper, to prevent gradient leakage while keeping the accuracy of model, we propose the super stochastic gradient descent approach to update parameters by concealing the modulus length of gradient vectors and converting it or them into a unit vector. Furthermore, we analyze the security of super stochastic gradient descent approach. Our algorithm can defend against attacks on the gradient. Experiment results show that our approach is obviously superior to prevalent gradient descent approaches in terms of accuracy, robustness, and adaptability to large-scale batches.