arXiv reaDer
Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning
  機能的磁気共鳴画像法(fMRI)で測定された人間の脳活動からのみ視覚刺激(画像)を再構築することは、Human-AIコラボレーションにおける重要で意味のある作業です。ただし、fMRI信号と視覚画像の間の一貫性のない分布と表現により、不均一性のギャップが生じます。さらに、fMRIデータは非常に高次元であることが多く、視覚的に無関係な情報が多く含まれています。既存の方法は一般にこれらの問題に悩まされているため、満足のいく再構成は依然として困難です。本稿では、fMRI信号から視覚的に誘導される認知潜在表現を学習し、それらを画像刺激に逆デコードすることにより、これらの課題を克服できることを示します。結果として得られるフレームワークは、二重表現オートエンコーダ/生成的敵対ネットワーク(D-VAE / GAN)と呼ばれ、敵対的表現学習の利点と知識抽出を組み合わせています。さらに、学習プロセス中に(認知)エンコーダーがペアの(視覚)エンコーダーから有用な知識を徐々に抽出できるようにする、新しい3段階の学習アプローチを紹介します。人工画像と自然画像の両方に関する広範な実験結果は、この方法が驚くほど良好な結果を達成し、他のすべての選択肢を上回ることができることを実証しています。
Reconstructing visual stimulus (image) only from human brain activity measured with functional Magnetic Resonance Imaging (fMRI) is a significant and meaningful task in Human-AI collaboration. However, the inconsistent distribution and representation between fMRI signals and visual images cause the heterogeneity gap. Moreover, the fMRI data is often extremely high-dimensional and contains a lot of visually-irrelevant information. Existing methods generally suffer from these issues so that a satisfactory reconstruction is still challenging. In this paper, we show that it is possible to overcome these challenges by learning visually-guided cognitive latent representations from the fMRI signals, and inversely decoding them to the image stimuli. The resulting framework is called Dual-Variational Autoencoder/ Generative Adversarial Network (D-VAE/GAN), which combines the advantages of adversarial representation learning with knowledge distillation. In addition, we introduce a novel three-stage learning approach which enables the (cognitive) encoder to gradually distill useful knowledge from the paired (visual) encoder during the learning process. Extensive experimental results on both artificial and natural images have demonstrated that our method could achieve surprisingly good results and outperform all other alternatives.
updated: Tue Oct 22 2019 15:03:48 GMT+0000 (UTC)
published: Thu Jun 27 2019 03:08:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト