arXiv reaDer
一定のメモリを使用してデータセット蒸留を ImageNet-1K にスケールアップする
Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory
データセット蒸留法は、大規模なデータセットを合成サンプルの小さなセットに圧縮することを目的としています。これにより、トレーニング時に、データセット全体での通常のトレーニングと比較して、競争力のあるパフォーマンスを達成できます。最近提案された方法の中で、Matching Training Trajectories (MTT) は CIFAR-10/100 で最先端のパフォーマンスを達成しますが、逆方向の展開された勾配計算を実行するときに大量のメモリを必要とするため、ImageNet-1k データセットへのスケーリングは困難です。伝搬。驚くべきことに、一定の GPU メモリ要件 (アンロールされたステップの数とは関係ありません) で損失に一致する軌道の勾配を正確に計算する手順が存在することを示します。この発見により、提案されたメモリ効率の高い軌跡マッチング方法は、元の MTT よりも約 2% のランタイム オーバーヘッドを導入しながら、6 倍のメモリ削減で ImageNet-1K に簡単にスケーリングできます。さらに、合成画像にソフトラベルを割り当てることは、より多くのカテゴリ (たとえば、1,000) にスケーリングする場合のパフォーマンスにとって重要であることがわかり、大規模なデータセットでモデルトレーニング軌道をより適切に整列させる軌道マッチングの新しいソフトラベルバージョンを提案します。提案されたアルゴリズムは、非常に低い IPC (クラスあたりのイメージ) で ImageNet-1K の以前の SOTA を上回るだけでなく、ImageNet-1K で 50 IPC までスケールアップすることを初めて可能にしました。私たちの方法 (TESLA) は 27.9% のテスト精度を達成し、従来技術に対して +18.2% という驚くべきマージンを達成しています。
Dataset distillation methods aim to compress a large dataset into a small set of synthetic samples, such that when being trained on, competitive performances can be achieved compared to regular training on the entire dataset. Among recently proposed methods, Matching Training Trajectories (MTT) achieves state-of-the-art performance on CIFAR-10/100, while having difficulty scaling to ImageNet-1k dataset due to the large memory requirement when performing unrolled gradient computation through back-propagation. Surprisingly, we show that there exists a procedure to exactly calculate the gradient of the trajectory matching loss with constant GPU memory requirement (irrelevant to the number of unrolled steps). With this finding, the proposed memory-efficient trajectory matching method can easily scale to ImageNet-1K with 6x memory reduction while introducing only around 2% runtime overhead than original MTT. Further, we find that assigning soft labels for synthetic images is crucial for the performance when scaling to larger number of categories (e.g., 1,000) and propose a novel soft label version of trajectory matching that facilities better aligning of model training trajectories on large datasets. The proposed algorithm not only surpasses previous SOTA on ImageNet-1K under extremely low IPCs (Images Per Class), but also for the first time enables us to scale up to 50 IPCs on ImageNet-1K. Our method (TESLA) achieves 27.9% testing accuracy, a remarkable +18.2% margin over prior arts.
updated: Wed May 31 2023 07:26:49 GMT+0000 (UTC)
published: Sat Nov 19 2022 04:46:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト