壊滅的な忘却は、継続的な学習システムへの道の主要な課題の1つであり、オンラインの一連のタスクが提示されます。この分野はかなりの関心を集めており、この課題を克服するためのさまざまな方法が提示されています。忘却なしの学習(LwF)は、最も早く、最も頻繁に引用される方法の1つです。これには、前のタスクからのサンプルの保存を必要としない、実装が簡単である、知識の蒸留に依存することで十分に根拠があるという利点があります。ただし、一般的な見解では、2つのタスクのみが導入された場合、比較的少量の忘却が示されますが、タスクの長いシーケンスに拡張することはできません。このホワイトペーパーでは、適切なアーキテクチャと標準の拡張セットを使用することで、LwFによって得られた結果が、タスク増分シナリオの最新のアルゴリズムを上回っていることを示すことで、この見方に異議を唱えています。この改善されたパフォーマンスは、CIFAR-100およびTiny-ImageNetを介した広範な一連の実験によって実証されており、他の方法でも同様の改善からそれほど利益を得られないことが示されています。
Catastrophic forgetting is one of the major challenges on the road for continual learning systems, which are presented with an on-line stream of tasks. The field has attracted considerable interest and a diverse set of methods have been presented for overcoming this challenge. Learning without Forgetting (LwF) is one of the earliest and most frequently cited methods. It has the advantages of not requiring the storage of samples from the previous tasks, of implementation simplicity, and of being well-grounded by relying on knowledge distillation. However, the prevailing view is that while it shows a relatively small amount of forgetting when only two tasks are introduced, it fails to scale to long sequences of tasks. This paper challenges this view, by showing that using the right architecture along with a standard set of augmentations, the results obtained by LwF surpass the latest algorithms for task incremental scenario. This improved performance is demonstrated by an extensive set of experiments over CIFAR-100 and Tiny-ImageNet, where it is also shown that other methods cannot benefit as much from similar improvements.