arXiv reaDer
Knowledge Distillation for Incremental Learning in Semantic Segmentation
 ディープラーニングアーキテクチャは、シーン理解の問題で顕著な結果を示しましたが、古いタスクを忘れずに段階的に新しいタスクを学習する必要がある場合、パフォーマンスが大幅に低下します。この壊滅的な忘却現象は、システムが時間の経過とともに新しい異なる表現を学習する必要がある現実のシナリオでの人工知能の展開に影響を与えます。増分学習の現在のアプローチは、画像分類とオブジェクト検出タスクのみを扱いますが、この作業では、セマンティックセグメンテーションの増分学習を正式に導入します。以前のモデルにさまざまな知識蒸留技術を適用して問題に取り組みます。このようにして、現在のモデルを更新して新しいクラスを学習しながら、学習したクラスに関する情報を保持します。出力レイヤーと内部フィーチャ表現の両方で機能する4つの主要な知識抽出方法を開発しました。以前のトレーニング段階に属する画像は保存せず、以前に学習したクラスで高い精度を維持するために最後のモデルのみが使用されます。 Pascal VOC2012およびMSRC-v2データセットに関する広範な実験結果は、いくつかのインクリメンタル学習シナリオで提案されたアプローチの有効性を示しています。
Deep learning architectures have shown remarkable results in scene understanding problems, however they exhibit a critical drop of performances when they are required to learn incrementally new tasks without forgetting old ones. This catastrophic forgetting phenomenon impacts on the deployment of artificial intelligence in real world scenarios where systems need to learn new and different representations over time. Current approaches for incremental learning deal only with image classification and object detection tasks, while in this work we formally introduce incremental learning for semantic segmentation. We tackle the problem applying various knowledge distillation techniques on the previous model. In this way, we retain the information about learned classes, whilst updating the current model to learn the new ones. We developed four main methodologies of knowledge distillation working on both output layers and internal feature representations. We do not store any image belonging to previous training stages and only the last model is used to preserve high accuracy on previously learned classes. Extensive experimental results on the Pascal VOC2012 and MSRC-v2 datasets show the effectiveness of the proposed approaches in several incremental learning scenarios.
updated: Wed Jan 20 2021 20:03:16 GMT+0000 (UTC)
published: Fri Nov 08 2019 08:17:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト