arXiv reaDer
REMIND Your Neural Network to Prevent Catastrophic Forgetting
人々は一生学びます。ただし、従来のニューラルネットワークを段階的に更新すると、壊滅的な忘却につながります。一般的な治療法はリプレイです。これは、脳が記憶を統合する方法に触発されています。再生では、新しいインスタンスと古いインスタンスが混在するネットワークを微調整します。脳が圧縮された記憶を再生するという神経科学的な証拠がある一方で、畳み込みネットワークの既存の方法は生の画像を再生します。ここでは、圧縮表現で効率的な再生を可能にする脳にヒントを得たアプローチであるREMINDを提案します。 REMINDはオンラインでトレーニングされます。つまり、一度に1つの例を学習します。これは、人間の学習方法に近いものです。同じ制約の下で、REMINDは、ImageNet ILSVRC-2012データセットでのインクリメンタルクラス学習の他の方法よりも優れています。破滅的な忘却を誘発することが知られているデータ順序付けスキームに対するREMINDの堅牢性を検証します。私たちは視覚的質問応答(VQA)の先駆的なオンライン学習によってREMINDの一般性を実証します。
People learn throughout life. However, incrementally updating conventional neural networks leads to catastrophic forgetting. A common remedy is replay, which is inspired by how the brain consolidates memory. Replay involves fine-tuning a network on a mixture of new and old instances. While there is neuroscientific evidence that the brain replays compressed memories, existing methods for convolutional networks replay raw images. Here, we propose REMIND, a brain-inspired approach that enables efficient replay with compressed representations. REMIND is trained in an online manner, meaning it learns one example at a time, which is closer to how humans learn. Under the same constraints, REMIND outperforms other methods for incremental class learning on the ImageNet ILSVRC-2012 dataset. We probe REMIND's robustness to data ordering schemes known to induce catastrophic forgetting. We demonstrate REMIND's generality by pioneering online learning for Visual Question Answering (VQA).
updated: Mon Jul 13 2020 17:10:44 GMT+0000 (UTC)
published: Sun Oct 06 2019 19:48:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト