脳イメージング技術と機械学習ツールの出現により、人間の脳内の視覚情報のエンコーディングをキャプチャするための計算モデルの構築に多くの努力が注がれてきました。最も困難な脳解読タスクの1つは、機能的磁気共鳴画像法(fMRI)によって測定された脳活動から知覚された自然画像を正確に再構成することです。この作業では、fMRIからの自然画像再構成のための最新の深層学習方法を調査します。アーキテクチャ設計、ベンチマークデータセット、および評価指標の観点からこれらの方法を検討し、標準化された評価指標全体で公正なパフォーマンス評価を提示します。最後に、既存の研究の長所と限界について説明し、将来の方向性を示します。
With the advent of brain imaging techniques and machine learning tools, much effort has been devoted to building computational models to capture the encoding of visual information in the human brain. One of the most challenging brain decoding tasks is the accurate reconstruction of the perceived natural images from brain activities measured by functional magnetic resonance imaging (fMRI). In this work, we survey the most recent deep learning methods for natural image reconstruction from fMRI. We examine these methods in terms of architectural design, benchmark datasets, and evaluation metrics and present a fair performance evaluation across standardized evaluation metrics. Finally, we discuss the strengths and limitations of existing studies and present potential future directions.