arXiv reaDer
Tf-GCZSL:タスクフリーの一般化された継続的なゼロショット学習
Tf-GCZSL: Task-Free Generalized Continual Zero-Shot Learning
ゼロショット学習(ZSL)の文献で提案されている方法は、通常、オフライン学習に適しており、シーケンシャルストリーミングデータから継続的に学習することはできません。シーケンシャルデータは、トレーニング中のタスクの形式で提供されます。最近、この問題を処理し、継続的なZSL(CZSL)メソッドを開発するためにいくつかの試みが行われました。ただし、これらのCZSLメソッドでは、トレーニング中にタスク間に明確なタスク境界情報が必要であり、これは実際には不可能です。この論文では、継続的な学習中にタスク情報を必要としない、タスクフリー(つまり、タスクに依存しない)CZSLメソッドを提案します。提案されたタスクフリーCZSLメソッドは、ZSLを実行するために変分オートエンコーダー(VAE)を採用しています。 CZSLメソッドを開発するために、経験の再生の概念を知識の蒸留および正則化と組み合わせます。ここでは、知識の蒸留はトレーニングサンプルの暗い知識を使用して実行されます。これは、本質的に壊滅的な忘却の問題を克服するのに役立ちます。さらに、短期記憶を使用したタスクフリー学習が可能になります。最後に、分類器は、VAEの潜在空間で生成された合成特徴についてトレーニングされます。さらに、実験は、挑戦的で実用的なZSLセットアップ、つまり一般化されたZSL(GZSL)で実施されます。これらの実験は、2種類のシングルヘッド継続学習設定に対して実行されます。(i)穏やかな設定-:タスク境界はトレーニング中にのみ認識され、テスト中には認識されません。 (ii)厳密な設定-:タスク境界は、トレーニングおよびテストでは不明です。 5つのベンチマークデータセットの実験結果は、CZSLのアプローチの妥当性を示しています。
Methods proposed in the literature for zero-shot learning (ZSL) are typically suitable for offline learning and cannot continually learn from sequential streaming data. The sequential data comes in the form of tasks during training. Recently, a few attempts have been made to handle this issue and develop continual ZSL (CZSL) methods. However, these CZSL methods require clear task-boundary information between the tasks during training, which is not practically possible. This paper proposes a task-free (i.e., task-agnostic) CZSL method, which does not require any task information during continual learning. The proposed task-free CZSL method employs a variational autoencoder (VAE) for performing ZSL. To develop the CZSL method, we combine the concept of experience replay with knowledge distillation and regularization. Here, knowledge distillation is performed using the training sample's dark knowledge, which essentially helps overcome the catastrophic forgetting issue. Further, it is enabled for task-free learning using short-term memory. Finally, a classifier is trained on the synthetic features generated at the latent space of the VAE. Moreover, the experiments are conducted in a challenging and practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are conducted for two kinds of single-head continual learning settings: (i) mild setting-: task-boundary is known only during training but not during testing; (ii) strict setting-: task-boundary is not known at training, as well as testing. Experimental results on five benchmark datasets exhibit the validity of the approach for CZSL.
updated: Fri Mar 19 2021 11:24:05 GMT+0000 (UTC)
published: Fri Mar 19 2021 11:24:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト