arXiv reaDer
対照的なクラス集中によるクラス増分学習での表現の重複を軽減する
Alleviate Representation Overlapping in Class Incremental Learning by Contrastive Class Concentration
クラスインクリメンタル学習(CIL)の課題は、以前のデータが保持されていないのに、学習者が古いクラスのデータと新しいクラスのデータを区別するのが難しいことにあります。つまり、異なる位相の表現分布は互いに重なり合っています。この論文では、メモリベースの方法とメモリフリーの方法の両方で表現が重複する現象を軽減するために、新しいCILフレームワークであるCILの対照クラス濃度(C4IL)を提案します。私たちのフレームワークは、対照的な表現学習のクラス集中効果を活用しているため、クラス内のコンパクト性とクラス間の分離性が向上した表現分布が得られます。定量的実験は、メモリベースとメモリフリーの両方のケースで効果的なフレームワークを示しています。10フェーズと20フェーズのCILの平均精度とトップ1精度の点で、両方のケースのベースラインメソッドを5%上回っています。定性的な結果は、私たちの方法が重複する問題を軽減するよりコンパクトな表現分布を生成することも示しています。
The challenge of the Class Incremental Learning (CIL) lies in difficulty for a learner to discern the old classes' data from the new while no previous data is preserved. Namely, the representation distribution of different phases overlaps with each other. In this paper, to alleviate the phenomenon of representation overlapping for both memory-based and memory-free methods, we propose a new CIL framework, Contrastive Class Concentration for CIL (C4IL). Our framework leverages the class concentration effect of contrastive representation learning, therefore yielding a representation distribution with better intra-class compactibility and inter-class separability. Quantitative experiments showcase our framework that is effective in both memory-based and memory-free cases: it outperforms the baseline methods of both cases by 5% in terms of the average and top-1 accuracy in 10-phase and 20-phase CIL. Qualitative results also demonstrate that our method generates a more compact representation distribution that alleviates the overlapping problem.
updated: Mon Jul 26 2021 16:27:50 GMT+0000 (UTC)
published: Mon Jul 26 2021 16:27:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト