転移学習は、強力な表現を構築するためのディープ ニューラル ネットワーク (DNN) のトレーニングに広く使用されています。事前トレーニングされたモデルがターゲット タスクに適応された後でも、特徴抽出器の表現パフォーマンスはある程度維持されます。事前トレーニングされたモデルのパフォーマンスは所有者の私有財産と見なすことができるため、事前トレーニングされた重みの一般化されたパフォーマンスの独占権を求めるのは自然なことです。この問題に対処するために、ターゲット タスクのパフォーマンスを低下させることなくソース タスクのみを破棄する、使い捨て転移学習 (DTL) と呼ばれる転移学習の新しいパラダイムを提案します。知識の処分を実現するために、Gradient Collision loss (GC loss) と呼ばれる新しい損失を提案します。 GC 損失は、ミニバッチの勾配ベクトルをさまざまな方向に導くことにより、ソース知識を選択的に学習しません。モデルがソース タスクの学習解除に成功したかどうかは、ピギーバック学習精度 (PL 精度) によって測定されます。 PL 精度は、ソース データのサブセットまたは新しいダウンストリーム データでスクラブされたモデルを再トレーニングすることにより、知識漏洩の脆弱性を推定します。 GC 損失でトレーニングされたモデルが、PL 精度が大幅に低下してもターゲット タスクのパフォーマンスを維持することを示すことで、GC 損失が DTL 問題に対する効果的なアプローチであることを実証します。
Transfer learning is widely used for training deep neural networks (DNN) for building a powerful representation. Even after the pre-trained model is adapted for the target task, the representation performance of the feature extractor is retained to some extent. As the performance of the pre-trained model can be considered the private property of the owner, it is natural to seek the exclusive right of the generalized performance of the pre-trained weight. To address this issue, we suggest a new paradigm of transfer learning called disposable transfer learning (DTL), which disposes of only the source task without degrading the performance of the target task. To achieve knowledge disposal, we propose a novel loss named Gradient Collision loss (GC loss). GC loss selectively unlearns the source knowledge by leading the gradient vectors of mini-batches in different directions. Whether the model successfully unlearns the source task is measured by piggyback learning accuracy (PL accuracy). PL accuracy estimates the vulnerability of knowledge leakage by retraining the scrubbed model on a subset of source data or new downstream data. We demonstrate that GC loss is an effective approach to the DTL problem by showing that the model trained with GC loss retains the performance on the target task with a significantly reduced PL accuracy.