人間は生涯にわたって知識を蓄積します。一方、現代のディープニューラルネットワークは、壊滅的な忘却の影響を受けやすくなっています。新しいタスクを実行するように適応すると、以前に学習したタスクのパフォーマンスを維持できないことがよくあります。一連のタスクを考えると、壊滅的な忘却に対処する素朴なアプローチは、タスクごとに個別のスタンドアロンモデルをトレーニングすることです。これにより、以前のモデルを効率的に利用せずに、パラメーターの総数を大幅にスケーリングします。対照的に、パラメーター効率の高いフレームワークであるPiggyback GANを提案します。これは、前のタスクでトレーニングされたモデルのフィルターに因数分解される畳み込みフィルターとデコンボリューションフィルターのセットを構築することによって現在のタスクを学習します。現在のタスクでは、私たちのモデルは、より少ないパラメーター数でスタンドアロンモデルと同等の高い生成品質を実現します。以前のタスクの場合、以前のタスクのフィルターは変更されないため、モデルは生成品質を維持することもできます。さまざまなドメインにわたるさまざまな画像条件付き生成タスクでPiggybackGANを検証し、定性的および定量的な結果を提供して、提案されたアプローチが壊滅的な忘却に効果的かつ効率的に対処できることを示します。
Humans accumulate knowledge in a lifelong fashion. Modern deep neural networks, on the other hand, are susceptible to catastrophic forgetting: when adapted to perform new tasks, they often fail to preserve their performance on previously learned tasks. Given a sequence of tasks, a naive approach addressing catastrophic forgetting is to train a separate standalone model for each task, which scales the total number of parameters drastically without efficiently utilizing previous models. In contrast, we propose a parameter efficient framework, Piggyback GAN, which learns the current task by building a set of convolutional and deconvolutional filters that are factorized into filters of the models trained on previous tasks. For the current task, our model achieves high generation quality on par with a standalone model at a lower number of parameters. For previous tasks, our model can also preserve generation quality since the filters for previous tasks are not altered. We validate Piggyback GAN on various image-conditioned generation tasks across different domains, and provide qualitative and quantitative results to show that the proposed approach can address catastrophic forgetting effectively and efficiently.