arXiv reaDer
継続的な学習のための知識の収集と再生
Knowledge Capture and Replay for Continual Learning
ディープニューラルネットワークはいくつかのドメインで有望であり、学習したデータ(タスク)固有の情報は暗黙的にネットワークパラメーターに格納されます。エンコードされた知識表現の抽出と利用は、データが将来利用できなくなった場合、特に継続的な学習シナリオで不可欠です。この作品では、事前定義されたランダムな画像パターンの再帰関数としてネットワークのエンコードされた知識をキャプチャする視覚的表現であるフラッシュカードを紹介します。継続的な学習シナリオでは、フラッシュカードは、壊滅的な忘れを防ぎ、以前のすべてのタスクの知識を統合するのに役立ちます。フラッシュカードは、後続のタスクを学習する前にのみ作成する必要があるため、以前にトレーニングしたタスクの数とは関係ありません。学習した知識表現をキャプチャする際のフラッシュカードの有効性を示し(元のデータセットの代替として)、さまざまな継続的な学習タスク(再構築、ノイズ除去、タスク増分学習、および新しいインスタンスの学習分類)を、いくつかの異種を使用して経験的に検証します。ベンチマークデータセット。実験的証拠は、(i)リプレイ戦略としてのフラッシュカードはタスクにとらわれず、(ii)生成的リプレイよりもパフォーマンスが高く、(iii)追加のメモリオーバーヘッドなしで一時的なリプレイと同等であることを示しています。
Deep neural networks have shown promise in several domains, and the learned data (task) specific information is implicitly stored in the network parameters. Extraction and utilization of encoded knowledge representations are vital when data is no longer available in the future, especially in a continual learning scenario. In this work, we introduce flashcards, which are visual representations that capture the encoded knowledge of a network as a recursive function of predefined random image patterns. In a continual learning scenario, flashcards help to prevent catastrophic forgetting and consolidating knowledge of all the previous tasks. Flashcards need to be constructed only before learning the subsequent task, and hence, independent of the number of tasks trained before. We demonstrate the efficacy of flashcards in capturing learned knowledge representation (as an alternative to the original dataset) and empirically validate on a variety of continual learning tasks: reconstruction, denoising, task-incremental learning, and new-instance learning classification, using several heterogeneous benchmark datasets. Experimental evidence indicates that: (i) flashcards as a replay strategy is \em task agnostic, (ii) performs better than generative replay, and (iii) is on par with episodic replay without additional memory overhead.
updated: Thu Apr 29 2021 14:17:52 GMT+0000 (UTC)
published: Sat Dec 12 2020 11:24:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト