arXiv reaDer
EEC:継続的な学習のために画像をエンコードおよび再生成する方法を学ぶ
EEC: Learning to Encode and Regenerate Images for Continual Learning
継続的な学習に対する2つの主な障害は、壊滅的な忘却とデータの保存に関するメモリの制限です。これらの課題に対処するために、画像をエンコードして保存するためにニューラルスタイル転送を使用してオートエンコーダをトレーニングする、新しい認知に触発されたアプローチを提案します。新しいタスクのトレーニング中に、壊滅的な忘却を回避するために、エンコードされたエピソードから再構成された画像が再生されます。再構成された画像の損失関数は、画像の劣化に対処するための分類器トレーニング中の影響を減らすために重み付けされます。システムのメモリが不足すると、エンコードされたエピソードは重心と共分散行列に変換されます。これらは、分類器のトレーニング中に疑似画像を生成するために使用され、使用するメモリを減らしながら分類器のパフォーマンスを安定させます。私たちのアプローチは、ベンチマークデータセットの最先端の方法よりも分類精度を13〜17%向上させ、必要なストレージスペースを78%削減します。
The two main impediments to continual learning are catastrophic forgetting and memory limitations on the storage of data. To cope with these challenges, we propose a novel, cognitively-inspired approach which trains autoencoders with Neural Style Transfer to encode and store images. During training on a new task, reconstructed images from encoded episodes are replayed in order to avoid catastrophic forgetting. The loss function for the reconstructed images is weighted to reduce its effect during classifier training to cope with image degradation. When the system runs out of memory the encoded episodes are converted into centroids and covariance matrices, which are used to generate pseudo-images during classifier training, keeping classifier performance stable while using less memory. Our approach increases classification accuracy by 13-17% over state-of-the-art methods on benchmark datasets, while requiring 78% less storage space.
updated: Thu Jan 14 2021 09:16:24 GMT+0000 (UTC)
published: Wed Jan 13 2021 06:43:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト