この論文では、専門家のエンドツーエンドの生涯学習混合を提案します。各エキスパートは、Variational Autoencoder(VAE)によって実装されます。混合システムの専門家は、与えられたトレーニングサンプルの対数尤度の個々のコンポーネント証拠下限(MELBO)の混合を最大化することによって共同でトレーニングされます。混合物の混合係数は、目標表現における各専門家の貢献を制御します。これらは、生涯学習中にノンパラメトリック推定によってパラメーターが決定されるディリクレ分布からサンプリングされます。モデルは、新しいタスクが以前に学習したものと類似している場合、それらをすばやく学習できます。提案されているVAEの生涯混合(L-MVAE)は、まったく新しいタスクを学習するときに、新しいコンポーネントでアーキテクチャを拡張します。トレーニング後、モデルは、新しいデータサンプルが提供されたときに使用される関連する専門家を自動的に決定できます。このメカニズムは、推論中に1人の専門家のみが使用されるため、メモリ効率と必要な計算コストの両方にメリットがあります。 L-MVAE推論モデルは、さまざまなタスクに関連付けられたデータドメイン全体の共同潜在空間で補間を実行でき、解きほぐされた学習表現に効率的であることが示されています。
In this paper, we propose an end-to-end lifelong learning mixture of experts. Each expert is implemented by a Variational Autoencoder (VAE). The experts in the mixture system are jointly trained by maximizing a mixture of individual component evidence lower bounds (MELBO) on the log-likelihood of the given training samples. The mixing coefficients in the mixture, control the contributions of each expert in the goal representation. These are sampled from a Dirichlet distribution whose parameters are determined through non-parametric estimation during lifelong learning. The model can learn new tasks fast when these are similar to those previously learnt. The proposed Lifelong mixture of VAE (L-MVAE) expands its architecture with new components when learning a completely new task. After the training, our model can automatically determine the relevant expert to be used when fed with new data samples. This mechanism benefits both the memory efficiency and the required computational cost as only one expert is used during the inference. The L-MVAE inference model is able to perform interpolation in the joint latent space across the data domains associated with different tasks and is shown to be efficient for disentangled learning representation.