ニューラルネットワークに基づく機械学習技術は、さまざまな分野で顕著な結果を達成しています。多くの場合、モデルのトレーニングには大規模な代表的なデータセットが必要です。これはクラウドソーシングされ、機密情報が含まれている場合があります。モデルは、これらのデータセットの個人情報を公開しないでください。この目標に対処するために、私たちは学習のための新しいアルゴリズム技術と、プライバシーの差別化の枠組み内でのプライバシーコストの洗練された分析を開発します。実装と実験により、わずかなプライバシー予算の下で、ソフトウェアの複雑さ、トレーニング効率、モデル品質の管理可能なコストで、非凸目的でディープニューラルネットワークをトレーニングできることが実証されています。
Machine learning techniques based on neural networks are achieving remarkable results in a wide variety of domains. Often, the training of models requires large, representative datasets, which may be crowdsourced and contain sensitive information. The models should not expose private information in these datasets. Addressing this goal, we develop new algorithmic techniques for learning and a refined analysis of privacy costs within the framework of differential privacy. Our implementation and experiments demonstrate that we can train deep neural networks with non-convex objectives, under a modest privacy budget, and at a manageable cost in software complexity, training efficiency, and model quality.