差分プライベート確率的勾配降下法(DP-SGD)は、キャリブレーションが不十分で、自信過剰の深層学習モデルを生成する可能性があることを示します。これは、医療診断などのセーフティクリティカルなアプリケーションにとって深刻な問題です。元の(DP-SGD)アルゴリズムをわずかに調整して、差分プライベートベイズニューラルネットワークをトレーニングするために、確率的勾配ランジェビンダイナミクス(ディープニューラルネットワークをトレーニングするためのスケーラブルなベイズ推定手法)とDP-SGDの類似点を強調して活用します。私たちのアプローチは、予想されるキャリブレーションエラーの減少によって経験的に実証されているように、DP-SGDよりもかなり信頼性の高い不確実性推定を提供します(MNIST〜5倍、小児肺炎データセット〜2倍)。
We show that differentially private stochastic gradient descent (DP-SGD) can yield poorly calibrated, overconfident deep learning models. This represents a serious issue for safety-critical applications, e.g. in medical diagnosis. We highlight and exploit parallels between stochastic gradient Langevin dynamics, a scalable Bayesian inference technique for training deep neural networks, and DP-SGD, in order to train differentially private, Bayesian neural networks with minor adjustments to the original (DP-SGD) algorithm. Our approach provides considerably more reliable uncertainty estimates than DP-SGD, as demonstrated empirically by a reduction in expected calibration error (MNIST ∼5-fold, Pediatric Pneumonia Dataset ∼2-fold).