視覚的注意は人間の脳の基本的なメカニズムであり、ディープ ニューラル ネットワークの注意メカニズムの設計に影響を与えています。ただし、視覚的注意に関する研究のほとんどは、人間の視覚的注意を特徴付けるために脳活動を直接測定するのではなく、アイトラッキング データを採用しています。さらに、人間の視覚系における注意関連のオブジェクトと注意が無視された背景との間の敵対関係は、十分に活用されていませんでした。これらのギャップを埋めるために、機能的な脳活動から直接人間の視覚的注意を特徴付ける、新しい脳に触発された敵対的視覚的注意ネットワーク (BI-AVAN) を提案します。私たちのBI-AVANモデルは、注意に関連した/無視されたオブジェクト間の偏った競合プロセスを模倣して、人間の脳が監視されていない方法で焦点を当てている映画フレーム内の視覚オブジェクトを識別および特定します。独立したアイトラッキングデータを検証のグラウンドトゥルースとして使用し、実験結果は、意味のある人間の視覚的注意を推測し、脳活動と視覚刺激の関係をマッピングするときに、モデルが堅牢で有望な結果を達成することを示しています。当社の BI-AVAN モデルは、ディープ ニューラル ネットワークなどの人工知能 (AI) のモデル設計を刺激し、導くために脳の機能アーキテクチャを活用するという新たな分野に貢献しています。
Visual attention is a fundamental mechanism in the human brain, and it inspires the design of attention mechanisms in deep neural networks. However, most of the visual attention studies adopted eye-tracking data rather than the direct measurement of brain activity to characterize human visual attention. In addition, the adversarial relationship between the attention-related objects and attention-neglected background in the human visual system was not fully exploited. To bridge these gaps, we propose a novel brain-inspired adversarial visual attention network (BI-AVAN) to characterize human visual attention directly from functional brain activity. Our BI-AVAN model imitates the biased competition process between attention-related/neglected objects to identify and locate the visual objects in a movie frame the human brain focuses on in an unsupervised manner. We use independent eye-tracking data as ground truth for validation and experimental results show that our model achieves robust and promising results when inferring meaningful human visual attention and mapping the relationship between brain activities and visual stimuli. Our BI-AVAN model contributes to the emerging field of leveraging the brain's functional architecture to inspire and guide the model design in artificial intelligence (AI), e.g., deep neural networks.