arXiv reaDer
ノイズスクリーニングに基づく効率的な差分プライバシー深層学習手法
An Efficient Differential Privacy Deep Learning Method based on Noise Screening
差分プライバシー (DP) は、機械学習モデルにアクセスできる攻撃者が個々のトレーニング ポイントに関する情報を抽出できないようにする、正式なプライバシー保証を提供します。差分プライベート確率的勾配降下法 (DPSGD) は、画像認識で差分プライバシーを使用する最も一般的なトレーニング方法です。ただし、既存の DPSGD 方式ではパフォーマンスが大幅に低下するため、差分プライバシーの適用が妨げられます。この論文では、更新の品質と反復回数の両方に依存する確率で候補の更新を受け入れる効率的な差分プライバシー深層学習を提案します。このランダム更新スクリーニングにより、差分プライベート勾配降下が各反復で正しい方向に進み、最終的により正確なモデルが得られます。私たちの実験では、同じハイパーパラメーターの下で、最新の結果である 98.12%、86.33%、および59.34%。自由に調整されたハイパーパラメーターの下で、私たちのスキームはさらに高い精度、98.89%、88.50%、および 64.17% を達成します。私たちの方法は、私的な画像分類と非私的な画像分類の間の精度のギャップを埋めるのに大きく貢献すると信じています。
Differential privacy (DP) provides a formal privacy guarantee that prevents adversaries with access to machine learning models from extracting information about individual training points. Differentially private stochastic gradient descent (DPSGD) is the most popular training method with differential privacy in image recognition. However, existing DPSGD schemes lead to significant performance degradation, which prevents the application of differential privacy. In this paper, we propose an efficient differential privacy deep learning which accepts a candidate update with a probability that depends both on the update quality and on the number of iterations. Through this random update screening, we make the differentially private gradient descent proceed in the right direction in each iteration, and result in a more accurate model finally. In our experiments, under the same hyperparameters, our scheme achieves test accuracies 98.35%, 87.41% and 60.92% on datasets MNIST, FashionMNIST and CIFAR10, respectively, compared to the state-of-the-art result of 98.12%, 86.33% and 59.34%. Under the freely adjusted hyperparameters, our scheme achieves even higher accuracies, 98.89%, 88.50% and 64.17%. We believe that our method has a great contribution for closing the accuracy gap between private and non-private image classification.
updated: Tue Dec 13 2022 02:46:22 GMT+0000 (UTC)
published: Mon Nov 14 2022 09:20:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト