機能的MRI(fMRI)は、刺激に対する視覚野の反応を特徴づけることができる強力な手法ですが、そのような実験は本質的に、スキャナー内にいる間に個人に提示される一連の画像に限定された、事前の仮説に基づいて構築されます。は、観察された脳反応のノイズの影響を受けやすく、個人間で大きく異なる可能性があります。この作業では、これらの制限を克服し、人間の視覚神経科学の発見のための強力なツールを開発するために、NeuroGenと呼ばれる新しい計算戦略を提案します。 NeuroGenは、fMRIでトレーニングされた人間の視覚の神経エンコーディングモデルと深い生成ネットワークを組み合わせて、マクロスケールの脳活性化のターゲットパターンを達成すると予測される画像を合成します。エンコーディングモデルが提供するノイズの低減が、高忠実度の画像を生成する生成ネットワークの機能と相まって、視覚神経科学のための堅牢な発見アーキテクチャをもたらすことを示します。 NeuroGenによって作成された少数の合成画像のみを使用することにより、視覚刺激に対する地域および個々の人間の脳の応答パターンの違いを検出および増幅できることを示します。次に、これらの発見がfMRIで測定された数千の観測画像応答に反映されていることを確認します。さらに、NeuroGenは、最適な自然画像では達成できない地域の応答パターンを達成すると予測される合成画像を作成できることを示しています。 NeuroGenフレームワークは、脳エンコーディングモデルの有用性を拡張し、人間の視覚システムを探索し、場合によっては正確に制御するための新しい道を開きます。
Functional MRI (fMRI) is a powerful technique that has allowed us to characterize visual cortex responses to stimuli, yet such experiments are by nature constructed based on a priori hypotheses, limited to the set of images presented to the individual while they are in the scanner, are subject to noise in the observed brain responses, and may vary widely across individuals. In this work, we propose a novel computational strategy, which we call NeuroGen, to overcome these limitations and develop a powerful tool for human vision neuroscience discovery. NeuroGen combines an fMRI-trained neural encoding model of human vision with a deep generative network to synthesize images predicted to achieve a target pattern of macro-scale brain activation. We demonstrate that the reduction of noise that the encoding model provides, coupled with the generative network's ability to produce images of high fidelity, results in a robust discovery architecture for visual neuroscience. By using only a small number of synthetic images created by NeuroGen, we demonstrate that we can detect and amplify differences in regional and individual human brain response patterns to visual stimuli. We then verify that these discoveries are reflected in the several thousand observed image responses measured with fMRI. We further demonstrate that NeuroGen can create synthetic images predicted to achieve regional response patterns not achievable by the best-matching natural images. The NeuroGen framework extends the utility of brain encoding models and opens up a new avenue for exploring, and possibly precisely controlling, the human visual system.