継続学習は、新しいタスクが到着するたびにモデルを最初から再トレーニングするのではなく、少ない計算リソースとメモリリソースを使用して新しいタスクを段階的に学習することを目的としています。ただし、既存のアプローチは、新しいタスクからのすべてのデータに手動で注釈が付けられていることを前提として、監視ありの方法で設計されています。これは、多くの実際のアプリケーションでは実用的ではありません。この作業では、教師なしモードで継続的な学習を実現できるように、グラウンドトゥルースの代わりに疑似ラベルを使用することを提案します。新しいデータの疑似ラベルは、グローバルクラスタリングアルゴリズムを適用することによって取得され、最後の増分ステップから更新されたモデルを特徴抽出器として使用することを提案します。既存の作業が不足しているため、各増分学習ステップにクラスラベルが提供されていないクラス増分設定で、教師なし継続学習の画像分類タスク用の新しいベンチマーク実験プロトコルを導入します。私たちの方法は、CIFAR-100およびImageNet(ILSVRC)データセットで、さまざまな既存の教師ありアプローチに疑似ラベルを組み込むことによって評価され、教師なしシナリオで有望な結果を示します。
Continual learning aims to learn new tasks incrementally using less computation and memory resources instead of retraining the model from scratch whenever new task arrives. However, existing approaches are designed in supervised fashion assuming all data from new tasks have been manually annotated, which are not practical for many real-life applications. In this work, we propose to use pseudo label instead of the ground truth to make continual learning feasible in unsupervised mode. The pseudo labels of new data are obtained by applying global clustering algorithm and we propose to use the model updated from last incremental step as the feature extractor. Due to the scarcity of existing work, we introduce a new benchmark experimental protocol for unsupervised continual learning of image classification task under class-incremental setting where no class label is provided for each incremental learning step. Our method is evaluated on the CIFAR-100 and ImageNet (ILSVRC) datasets by incorporating the pseudo label with various existing supervised approaches and show promising results in unsupervised scenario.