arXiv reaDer
Online Learned Continual Compression with Adaptive Quantization Modules
各サンプルを1回だけ観察しながら、非i.i.dデータストリームからの代表的なデータセットの圧縮と格納を同時に学習しようとするオンライン連続圧縮の問題を紹介し、研究します。この設定での自動エンコーダーの素朴なアプリケーションは、大きな課題に直面します。以前のエンコーダー状態から派生した表現は、後のデコーダー状態で使用できる必要があります。ディスクリートオートエンコーダーを使用してこの課題に効果的に対処する方法を示し、学習の任意の段階でモジュールの圧縮能力の変動を制御する適応量子化モジュール(AQM)を紹介します。これにより、全体的なメモリの制約と学習した圧縮の現在の進行状況を考慮しながら、着信サンプルに適切な圧縮を選択できます。以前の方法とは異なり、このアプローチでは、困難なデータセットであっても事前トレーニングは必要ありません。 AQMを使用して、継続的な学習の設定で標準的な一時的な記憶を置き換えると、継続的な学習のベンチマークが大幅に向上することを示しています。さらに、大きな画像、LiDAR、強化学習環境でこのアプローチを示します。
We introduce and study the problem of Online Continual Compression, where one attempts to simultaneously learn to compress and store a representative dataset from a non i.i.d data stream, while only observing each sample once. A naive application of auto-encoders in this setting encounters a major challenge: representations derived from earlier encoder states must be usable by later decoder states. We show how to use discrete auto-encoders to effectively address this challenge and introduce Adaptive Quantization Modules (AQM) to control variation in the compression ability of the module at any given stage of learning. This enables selecting an appropriate compression for incoming samples, while taking into account overall memory constraints and current progress of the learned compression. Unlike previous methods, our approach does not require any pretraining, even on challenging datasets. We show that using AQM to replace standard episodic memory in continual learning settings leads to significant gains on continual learning benchmarks. Furthermore we demonstrate this approach with larger images, LiDAR, and reinforcement learning environments.
updated: Thu Aug 20 2020 19:19:56 GMT+0000 (UTC)
published: Tue Nov 19 2019 00:43:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト