大規模なデータセットの重要な情報をコンパクトなアドレス可能なメモリに圧縮するアルゴリズムを提案します。その後、これらの記憶を呼び出して、ニューラル ネットワークをすばやく再トレーニングし、パフォーマンスを回復できます (完全な元のデータセットを保存して再トレーニングする必要はありません)。データセット蒸留フレームワークに基づいて、共通の表現を共有することでより効率的かつ効果的な蒸留が可能になるという重要な観察を行います。具体的には、クラス間で共有されるベースのセット (別名「メモリー」) を学習し、学習した柔軟なアドレッシング関数を介して組み合わせて、さまざまなトレーニング例のセットを生成します。これにより、いくつかの利点が得られます。1) 圧縮されたデータのサイズは、クラスの数に比例して増加するとは限りません。 2)より効果的な蒸留を伴う全体的により高い圧縮率が達成される。 3) 元のクラスを思い出すだけでなく、より一般化されたクエリが許可されます。 CIFAR10 と CIFAR100 をそれぞれ蒸留するときの保持精度の改善が最大 16.5% と 9.7% になるなど、6 つのベンチマークにわたってデータセットの蒸留タスクに関する最先端の結果を示しています。次に、フレームワークを活用して継続的な学習を実行し、4 つのベンチマークで最先端の結果を達成し、多くのベンチマークで 23.2% の精度向上を達成しました。コードは、プロジェクトの Web ページ https://github.com/princetonvisualai/RememberThePast-DatasetDistillation でリリースされています。
We propose an algorithm that compresses the critical information of a large dataset into compact addressable memories. These memories can then be recalled to quickly re-train a neural network and recover the performance (instead of storing and re-training on the full original dataset). Building upon the dataset distillation framework, we make a key observation that a shared common representation allows for more efficient and effective distillation. Concretely, we learn a set of bases (aka ``memories'') which are shared between classes and combined through learned flexible addressing functions to generate a diverse set of training examples. This leads to several benefits: 1) the size of compressed data does not necessarily grow linearly with the number of classes; 2) an overall higher compression rate with more effective distillation is achieved; and 3) more generalized queries are allowed beyond recalling the original classes. We demonstrate state-of-the-art results on the dataset distillation task across six benchmarks, including up to 16.5% and 9.7% in retained accuracy improvement when distilling CIFAR10 and CIFAR100 respectively. We then leverage our framework to perform continual learning, achieving state-of-the-art results on four benchmarks, with 23.2% accuracy improvement on MANY. The code is released on our project webpage https://github.com/princetonvisualai/RememberThePast-DatasetDistillation.