arXiv reaDer
Incremental multi-domain learning with network latent tensor factorization
 深層学習、大量の注釈付きデータ、およびますます強力なハードウェアの卓越性により、多くの場合、トレーニングセットを飽和状態にして、教師付き分類タスクの顕著なパフォーマンスを達成することができました。ただし、結果のモデルは、1つの非常に具体的なタスクとドメインに特化しています。学習した分類を新しいドメインに適応させることは、少なくとも3つの理由により難しい問題です。(1)新しいドメインとタスクが大幅に異なる可能性があります。 (2)新しいドメインには注釈付きデータが非常に限られている可能性があり、(3)新しいCNNのパラメーターの数が膨大であるため、新しいタスクごとの新しいモデルの完全なトレーニングは計算とメモリの観点から禁止されています。このホワイトペーパーでは、新しいドメインとタスクを段階的に学習する方法を示します。既に学習したタスクからの事前の知識に基づいて、壊滅的な忘却を伴うことはありません。これを行うには、低ランクのタッカー構造を使用して、レイヤー全体でウェイトを共同でパラメーター化します。コアはタスクに依存せず、新しいドメインごとに一連のタスク固有の要素が学習されます。テンソル構造を活用すると、単純に行列演算を使用するよりもパフォーマンスが向上することがわかります。ジョイントテンソルモデリングでは、当然、さまざまなレイヤーの相関関係も活用されます。各レイヤーを個別に適応させることに焦点を合わせてきた以前の方法と比較して、このアプローチでは、各新しいタスク/ドメインの表現がよりコンパクトになります。提案されたメソッドをVisual Decathlon Challengeの10個のデータセットに適用し、分類精度とDecathlonスコアの両方の観点から、平均で約7.5倍のパラメーター数と競争力のあるパフォーマンスの削減を提供することを示します。
The prominence of deep learning, large amount of annotated data and increasingly powerful hardware made it possible to reach remarkable performance for supervised classification tasks, in many cases saturating the training sets. However the resulting models are specialized to a single very specific task and domain. Adapting the learned classification to new domains is a hard problem due to at least three reasons: (1) the new domains and the tasks might be drastically different; (2) there might be very limited amount of annotated data on the new domain and (3) full training of a new model for each new task is prohibitive in terms of computation and memory, due to the sheer number of parameters of deep CNNs. In this paper, we present a method to learn new-domains and tasks incrementally, building on prior knowledge from already learned tasks and without catastrophic forgetting. We do so by jointly parametrizing weights across layers using low-rank Tucker structure. The core is task agnostic while a set of task specific factors are learnt on each new domain. We show that leveraging tensor structure enables better performance than simply using matrix operations. Joint tensor modelling also naturally leverages correlations across different layers. Compared with previous methods which have focused on adapting each layer separately, our approach results in more compact representations for each new task/domain. We apply the proposed method to the 10 datasets of the Visual Decathlon Challenge and show that our method offers on average about 7.5x reduction in number of parameters and competitive performance in terms of both classification accuracy and Decathlon score.
updated: Fri Nov 22 2019 14:04:15 GMT+0000 (UTC)
published: Fri Apr 12 2019 17:57:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト