最近の法律により、機械の学習解除、つまり、トレーニングデータセットに存在しなかったかのように予測モデルから特定のトレーニングサンプルを削除することに関心が集まっています。破損した/敵対的なデータ、または単にユーザーの更新されたプライバシー要件のために、学習解除が必要になる場合もあります。トレーニングを必要としないモデル(k-NN)の場合、最も近い元のサンプルを削除するだけで効果的です。しかし、このアイデアは、より豊かな表現を学習するモデルには適用できません。最適化ベースの更新を活用する最近のアイデアは、損失関数のヘッセ行列を反転するため、モデルの次元dとのスケーリングが不十分です。新しい条件付き独立係数のバリアントであるL-CODECを使用して、個々のサンプルレベルで最も意味的な重複があるモデルパラメーターのサブセットを識別します。私たちのアプローチは、(おそらく)巨大な行列を反転する必要性を完全に回避します。マルコフブランケットの選択を利用することにより、L-CODECは、視覚における他のアプリケーションだけでなく、深い未学習にも適していることを前提としています。代替案と比較して、L-CODECは、顔認識に使用されるビジョンモデル、人物の再識別、除外のために識別された非学習サンプルを必要とする可能性のあるNLPモデルなど、他の方法では実行不可能な設定でおおよその非学習を可能にします。コードはhttps://github.com/vsingh-group/LCODEC-deep-unlearning/にあります。
Recent legislation has led to interest in machine unlearning, i.e., removing specific training samples from a predictive model as if they never existed in the training dataset. Unlearning may also be required due to corrupted/adversarial data or simply a user's updated privacy requirement. For models which require no training (k-NN), simply deleting the closest original sample can be effective. But this idea is inapplicable to models which learn richer representations. Recent ideas leveraging optimization-based updates scale poorly with the model dimension d, due to inverting the Hessian of the loss function. We use a variant of a new conditional independence coefficient, L-CODEC, to identify a subset of the model parameters with the most semantic overlap on an individual sample level. Our approach completely avoids the need to invert a (possibly) huge matrix. By utilizing a Markov blanket selection, we premise that L-CODEC is also suitable for deep unlearning, as well as other applications in vision. Compared to alternatives, L-CODEC makes approximate unlearning possible in settings that would otherwise be infeasible, including vision models used for face recognition, person re-identification and NLP models that may require unlearning samples identified for exclusion. Code can be found at https://github.com/vsingh-group/LCODEC-deep-unlearning/