継続学習(CL)は、ビデオドメインでは十分に検討されていません。いくつかの既存の作品には、タスク全体でクラス分布が不均衡な分割が含まれているか、不適切なデータセットで問題を調査しています。新しいビデオ継続学習ベンチマークであるvCLIMBを紹介します。 vCLIMBは、ビデオの継続学習における深いモデルの壊滅的な忘却を分析するための標準化されたテストベッドです。以前の作業とは対照的に、一連の互いに素なタスクでトレーニングされたモデルを使用したクラスの増分継続学習に焦点を当て、クラスの数をタスク全体に均一に分散させます。 vCLIMBで既存のCLメソッドの詳細な評価を実行し、ビデオデータの2つの固有の課題を観察します。エピソード記憶に保存するインスタンスの選択は、フレームレベルで実行されます。第二に、トリミングされていないトレーニングデータは、フレームサンプリング戦略の有効性に影響を与えます。メモリベースの継続的な学習方法の上に適用できる時間的一貫性の正則化を提案することにより、これら2つの課題に対処します。私たちのアプローチは、トリミングされていない継続学習タスクで最大24%まで、ベースラインを大幅に改善します。ビデオ継続学習の将来の研究を合理化および促進するために、ベンチマークとメソッドのコードを公開します。
Continual learning (CL) is under-explored in the video domain. The few existing works contain splits with imbalanced class distributions over the tasks, or study the problem in unsuitable datasets. We introduce vCLIMB, a novel video continual learning benchmark. vCLIMB is a standardized test-bed to analyze catastrophic forgetting of deep models in video continual learning. In contrast to previous work, we focus on class incremental continual learning with models trained on a sequence of disjoint tasks, and distribute the number of classes uniformly across the tasks. We perform in-depth evaluations of existing CL methods in vCLIMB, and observe two unique challenges in video data. The selection of instances to store in episodic memory is performed at the frame level. Second, untrimmed training data influences the effectiveness of frame sampling strategies. We address these two challenges by proposing a temporal consistency regularization that can be applied on top of memory-based continual learning methods. Our approach significantly improves the baseline, by up to 24% on the untrimmed continual learning task. To streamline and foster future research in video continual learning, we will publicly release the code for our benchmark and method.