概して、視覚的注意の既存の計算モデルは、完全な視覚と刺激への完全なアクセスを暗黙のうちに想定しているため、中心窩の生物学的視覚から逸脱しています。さらに、トップダウンの注意のモデル化は、一般に、人間の注意を部分的に導くことが示されている高レベルの視覚タスクの信号を組み込むことなく、セマンティック機能の統合に還元されます。トップダウン方式で視覚スキャンパスを生成するために、Neural Visual Attention (NeVA) アルゴリズムを提案します。私たちの方法では、この目的のために直接トレーニングすることなく、人間のようなスキャンパスを生成するために、生物学に触発された中心窩視覚制約を課すニューラル ネットワークの能力を調査します。下流の視覚タスク (つまり、分類または再構成) を実行するニューラル ネットワークの損失は、スキャンパスにトップダウンのガイダンスを柔軟に提供します。広範な実験により、人間のスキャンパスとの類似性に関して、私たちの方法が最先端の教師なし人間注意モデルよりも優れていることが示されています。さらに、フレームワークの柔軟性により、生成された視覚的動作におけるさまざまなタスクの役割を定量的に調査できます。最後に、不完全な表示条件が与えられている実際のアプリケーションでのスキャンパスの有用性を調査する新しい実験で、このアプローチの優位性を示します。
By and large, existing computational models of visual attention tacitly assume perfect vision and full access to the stimulus and thereby deviate from foveated biological vision. Moreover, modeling top-down attention is generally reduced to the integration of semantic features without incorporating the signal of a high-level visual tasks that have been shown to partially guide human attention. We propose the Neural Visual Attention (NeVA) algorithm to generate visual scanpaths in a top-down manner. With our method, we explore the ability of neural networks on which we impose a biologically-inspired foveated vision constraint to generate human-like scanpaths without directly training for this objective. The loss of a neural network performing a downstream visual task (i.e., classification or reconstruction) flexibly provides top-down guidance to the scanpath. Extensive experiments show that our method outperforms state-of-the-art unsupervised human attention models in terms of similarity to human scanpaths. Additionally, the flexibility of the framework allows to quantitatively investigate the role of different tasks in the generated visual behaviors. Finally, we demonstrate the superiority of the approach in a novel experiment that investigates the utility of scanpaths in real-world applications, where imperfect viewing conditions are given.