トレーニングサンプルのサブセットの影響を、大規模な画像分類タスクでトレーニングされたネットワークの重みから取り除くことができること、つまり「忘れる」ことができることを示し、残りの情報の量に強力な計算可能な限界を提供します。忘れた後。忘却技術の実際のアプリケーションに触発されて、トレーニングサンプルの「コア」サブセットを忘れる必要がないことがわかっている混合プライバシー設定での忘却の新しい概念を紹介します。この問題のバリエーションは概念的には単純ですが、この設定で作業すると、視覚分類タスクに適用される方法を忘れる精度と保証が大幅に向上することを示します。さらに、私たちの方法では、パフォーマンスの低下を最小限に抑えながら、重みのサブセットをゼロに設定するだけで、非コアデータに含まれるすべての情報を効率的に削除できます。これらの結果は、標準のディープネットワークを適切な線形近似に置き換えることで実現します。ネットワークアーキテクチャとトレーニング手順を適切に変更することで、このような線形近似が元のネットワークと同等のパフォーマンスを実現し、忘却の問題が2次式になり、大規模なモデルでも効率的に解決できることを示します。ディープネットワークでの以前の忘却方法とは異なり、私たちの方法では、大規模なビジョンタスクで最先端の精度に近い精度を達成できます。特に、私たちの方法では、モデルの精度をトレードオフすることなく、忘れることができることを示しています。
We show that the influence of a subset of the training samples can be removed -- or "forgotten" -- from the weights of a network trained on large-scale image classification tasks, and we provide strong computable bounds on the amount of remaining information after forgetting. Inspired by real-world applications of forgetting techniques, we introduce a novel notion of forgetting in mixed-privacy setting, where we know that a "core" subset of the training samples does not need to be forgotten. While this variation of the problem is conceptually simple, we show that working in this setting significantly improves the accuracy and guarantees of forgetting methods applied to vision classification tasks. Moreover, our method allows efficient removal of all information contained in non-core data by simply setting to zero a subset of the weights with minimal loss in performance. We achieve these results by replacing a standard deep network with a suitable linear approximation. With opportune changes to the network architecture and training procedure, we show that such linear approximation achieves comparable performance to the original network and that the forgetting problem becomes quadratic and can be solved efficiently even for large models. Unlike previous forgetting methods on deep networks, ours can achieve close to the state-of-the-art accuracy on large scale vision tasks. In particular, we show that our method allows forgetting without having to trade off the model accuracy.