「忘れられる権利」と汚染されたデータの除去の実際的なニーズは、効率的な機械の学習解除技術を必要とします。これにより、機械学習モデルが学習を解除したり、トレーニング データとその系統の一部を忘れたりすることができます。ディープ ニューラル ネットワーク (DNN) の機械学習解除に関する最近の研究では、モデル パラメーターをスクラブすることにより、忘却データの影響を破壊しようとしています。ただし、パラメーター空間の次元が大きいため、非常に高価です。このホワイト ペーパーでは、パラメータ空間から DNN モデルの決定空間に再び注意を向け、訓練された DNN モデルからクラス全体をアンラーニングするための迅速かつ効果的な方法である Boundary Unlearning を提案します。重要なアイデアは、元の DNN モデルの決定境界をシフトして、ゼロから再トレーニングされたモデルの決定動作を模倣することです。境界縮小と境界拡張という2つの新しい境界シフト方法を開発し、どちらもユーティリティとプライバシーの保証を迅速に達成できます。 CIFAR-10 および Vggface2 データセットで Boundary Unlearning を広範に評価した結果、Boundary Unlearning が画像分類タスクと顔認識タスクの忘却クラスを効果的に忘れることができ、それぞれ 17 倍と 19 倍のスピードアップが期待できることが示されています。ゼロからの再訓練で。
The practical needs of the ``right to be forgotten'' and poisoned data removal call for efficient machine unlearning techniques, which enable machine learning models to unlearn, or to forget a fraction of training data and its lineage. Recent studies on machine unlearning for deep neural networks (DNNs) attempt to destroy the influence of the forgetting data by scrubbing the model parameters. However, it is prohibitively expensive due to the large dimension of the parameter space. In this paper, we refocus our attention from the parameter space to the decision space of the DNN model, and propose Boundary Unlearning, a rapid yet effective way to unlearn an entire class from a trained DNN model. The key idea is to shift the decision boundary of the original DNN model to imitate the decision behavior of the model retrained from scratch. We develop two novel boundary shift methods, namely Boundary Shrink and Boundary Expanding, both of which can rapidly achieve the utility and privacy guarantees. We extensively evaluate Boundary Unlearning on CIFAR-10 and Vggface2 datasets, and the results show that Boundary Unlearning can effectively forget the forgetting class on image classification and face recognition tasks, with an expected speed-up of 17× and 19×, respectively, compared with retraining from the scratch.