人工知能 (AI) は、インターネット規模のデータでトレーニングされた基礎モデルの使用により、機能が大幅に向上しました。その一方で、インターネット規模のデータには、許可なくトレーニングすべきではない個人情報や著作権で保護されたマテリアルが含まれていることが多いため、その性質がキュレートされていないため、重大なプライバシーと法的リスクも引き起こします。この研究では、緩和策として、差分プライバシー (DP) 保証を備えた基盤ビジョン モデルをトレーニングするレシピを提案します。私たちは、マスクされたオートエンコーダーを DP-SGD とよく連携する適切な学習アルゴリズムとして特定し、LAION400M データセット上で ϵ=8 の厳格なプライバシー バジェットの下で ViP (差分プライバシーを備えた Vision トランスフォーマー) をトレーニングします。標準的な下流ビジョンタスクを使用して、ViP によって学習された表現の品質を評価します。特に、ViP は、ImageNet 上で 55.7% の (非プライベート) 線形プローブ精度を達成します。これは、エンドツーエンドでトレーニングされた AlexNet (ImageNet でトレーニングおよび評価された) の精度に匹敵します。私たちの結果は、インターネット規模のデータへのスケーリングが個人学習には実用的である可能性があることを示唆しています。
Artificial intelligence (AI) has seen a tremendous surge in capabilities thanks to the use of foundation models trained on internet-scale data. On the flip side, the uncurated nature of internet-scale data also poses significant privacy and legal risks, as they often contain personal information or copyrighted material that should not be trained on without permission. In this work, we propose as a mitigation measure a recipe to train foundation vision models with differential privacy (DP) guarantee. We identify masked autoencoders as a suitable learning algorithm that aligns well with DP-SGD, and train ViP -- a Vision transformer with differential Privacy -- under a strict privacy budget of ϵ=8 on the LAION400M dataset. We evaluate the quality of representation learned by ViP using standard downstream vision tasks; in particular, ViP achieves a (non-private) linear probing accuracy of 55.7% on ImageNet, comparable to that of end-to-end trained AlexNet (trained and evaluated on ImageNet). Our result suggests that scaling to internet-scale data can be practical for private learning.