多くの異なる研究は、エピソード記憶が生成プロセスであることを示唆していますが、ほとんどの計算モデルはストレージビューを採用しています。この作品では、生成エピソード記憶の計算モデルを提案します。これは、海馬がエピソードの選択された側面を記憶の痕跡として保存および取得するという中心的な仮説に基づいていますが、これは必然的に不完全です。想起時に、新皮質は、セマンティック完了と呼ばれるプロセスで、一般的なセマンティック情報に基づいて欠落している情報を合理的に埋めます。エピソードとして、コンテキストを表すさまざまな背景で補強された数字の画像(MNIST)を使用します。私たちのモデルはVQ-VAEに基づいており、インデックス行列の形式で圧縮された潜在表現を生成しますが、それでもある程度の空間分解能があります。注意がインデックスマトリックスの一部を選択し、他の部分は破棄されると想定します。これはエピソードの要点を表し、メモリトレースとして保存されます。リコール時に、欠落している部分がPixelCNNによって埋められ、セマンティック補完がモデル化され、完成したインデックスマトリックスがVQ-VAEによって完全な画像にデコードされます。モデルは、メモリトレースの欠落している部分を、意味的にもっともらしい方法で、もっともらしい画像を最初から生成できるようになるまで完了することができます。インデックス行列の組み合わせ論により、モデルはトレーニングされていない画像によく一般化されます。圧縮とセマンティック補完は、メモリ要件の大幅な削減とノイズに対する堅牢性に貢献します。最後に、エピソード記憶実験もモデル化し、意味的に一致するコンテキストは常に不一致よりもよく想起され、注意レベルが高いとどちらの場合も記憶の精度が向上し、正しく記憶されていないコンテキストは完全に間違っているよりも意味的に一致して記憶されることが多いことを再現できます。
Many different studies have suggested that episodic memory is a generative process, but most computational models adopt a storage view. In this work, we propose a computational model for generative episodic memory. It is based on the central hypothesis that the hippocampus stores and retrieves selected aspects of an episode as a memory trace, which is necessarily incomplete. At recall, the neocortex reasonably fills in the missing information based on general semantic information in a process we call semantic completion. As episodes we use images of digits (MNIST) augmented by different backgrounds representing context. Our model is based on a VQ-VAE which generates a compressed latent representation in form of an index matrix, which still has some spatial resolution. We assume that attention selects some part of the index matrix while others are discarded, this then represents the gist of the episode and is stored as a memory trace. At recall the missing parts are filled in by a PixelCNN, modeling semantic completion, and the completed index matrix is then decoded into a full image by the VQ-VAE. The model is able to complete missing parts of a memory trace in a semantically plausible way up to the point where it can generate plausible images from scratch. Due to the combinatorics in the index matrix, the model generalizes well to images not trained on. Compression as well as semantic completion contribute to a strong reduction in memory requirements and robustness to noise. Finally we also model an episodic memory experiment and can reproduce that semantically congruent contexts are always recalled better than incongruent ones, high attention levels improve memory accuracy in both cases, and contexts that are not remembered correctly are more often remembered semantically congruently than completely wrong.