arXiv reaDer
Deep Learning Human Mind for Automated Visual Classification
  心を効果的に読み、人間の視覚能力をコンピュータービジョン手法に移すことができたらどうでしょうか?この論文では、人間の脳信号によって駆動される最初の視覚オブジェクト分類器を開発することにより、この問題に対処することを目指しています。特に、視覚的オブジェクト刺激とリカレントニューラルネットワーク(RNN)を組み合わせたEEGデータを使用して、視覚カテゴリの識別的脳活動多様体を学習します。その後、畳み込みニューラルネットワーク(CNN)ベースのリグレッサーを学習して、学習した多様体に画像を投影します。これにより、自動視覚分類のために人間の脳ベースの機能を効果的に使用できます。 32チャネルEEGを使用して、40個のImageNetオブジェクトクラスの画像を見ながら、7人の被験者の脳活動を記録します。脳信号を使用してオブジェクトクラスを識別するための提案されたRNNベースのアプローチは、約40%の平均精度に達し、EEG視覚オブジェクト表現を学習しようとする既存の方法よりも優れています。自動化されたオブジェクトの分類に関しては、人間の脳によるアプローチは、ImageNetとCalTech 101の両方で強力なCNNモデルによって達成されるものと同等の競争力のあるパフォーマンスを獲得し、分類と一般化機能を実証します。これは、実際に人間の心を読み取って機械に移すことができるという本当の希望を与えてくれます。
What if we could effectively read the mind and transfer human visual capabilities to computer vision methods? In this paper, we aim at addressing this question by developing the first visual object classifier driven by human brain signals. In particular, we employ EEG data evoked by visual object stimuli combined with Recurrent Neural Networks (RNN) to learn a discriminative brain activity manifold of visual categories. Afterwards, we train a Convolutional Neural Network (CNN)-based regressor to project images onto the learned manifold, thus effectively allowing machines to employ human brain-based features for automated visual classification. We use a 32-channel EEG to record brain activity of seven subjects while looking at images of 40 ImageNet object classes. The proposed RNN based approach for discriminating object classes using brain signals reaches an average accuracy of about 40%, which outperforms existing methods attempting to learn EEG visual object representations. As for automated object categorization, our human brain-driven approach obtains competitive performance, comparable to those achieved by powerful CNN models, both on ImageNet and CalTech 101, thus demonstrating its classification and generalization capabilities. This gives us a real hope that, indeed, human mind can be read and transferred to machines.
updated: Tue Oct 22 2019 11:39:22 GMT+0000 (UTC)
published: Thu Sep 01 2016 18:47:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト