arXiv reaDer
EEG2Mel:音楽に対する脳の反応から音を再構築する
EEG2Mel: Reconstructing Sound from Brain Responses to Music
聴覚および視覚刺激に対する脳の反応からの情報検索は、EEG信号の記録中に参加者に提示される曲名と画像クラスの分類を通じて成功を示しています。聴覚刺激を再構築する形での情報検索もある程度の成功を示していますが、ここでは、音楽刺激を十分に再構築して、独立して認識および識別できるようにすることで、以前の方法を改善します。さらに、深層学習モデルは、EEG記録の対応する1秒ウィンドウごとに、時間調整された音楽刺激スペクトルでトレーニングされました。これにより、以前の研究と比較して、必要な特徴抽出ステップが大幅に削減されます。フルレングスの曲を受動的に聴いている参加者のNMED-TempoおよびNMED-Hindiデータセットを使用して、畳み込みニューラルネットワーク(CNN)リグレッサをトレーニングおよび検証しました。生の電圧対パワースペクトル入力および線形対メルスペクトログラム出力の有効性がテストされ、すべての入力および出力が2D画像に変換されました。再構成されたスペクトログラムの品質は、メルスペクトログラムで81%の精度、線形スペクトログラムで72%の精度(10%の確率精度)を示した分類器のトレーニングによって評価されました。最後に、聴覚音楽刺激の再構成は、2つの代替見本合わせタスクで85%の成功率(50%の確率)でリスナーによって識別されました。
Information retrieval from brain responses to auditory and visual stimuli has shown success through classification of song names and image classes presented to participants while recording EEG signals. Information retrieval in the form of reconstructing auditory stimuli has also shown some success, but here we improve on previous methods by reconstructing music stimuli well enough to be perceived and identified independently. Furthermore, deep learning models were trained on time-aligned music stimuli spectrum for each corresponding one-second window of EEG recording, which greatly reduces feature extraction steps needed when compared to prior studies. The NMED-Tempo and NMED-Hindi datasets of participants passively listening to full length songs were used to train and validate Convolutional Neural Network (CNN) regressors. The efficacy of raw voltage versus power spectrum inputs and linear versus mel spectrogram outputs were tested, and all inputs and outputs were converted into 2D images. The quality of reconstructed spectrograms was assessed by training classifiers which showed 81% accuracy for mel-spectrograms and 72% for linear spectrograms (10% chance accuracy). Lastly, reconstructions of auditory music stimuli were discriminated by listeners at an 85% success rate (50% chance) in a two-alternative match-to-sample task.
updated: Thu Jul 28 2022 01:06:51 GMT+0000 (UTC)
published: Thu Jul 28 2022 01:06:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト