深い畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、オブジェクト認識などの視覚的課題において、アーキテクチャと機能の大きな類似点を共有しています。最近の洞察は、両方の階層的カスケードが、発揮された行動と根底にある活性化の両方の観点から比較できることを示しています。ただし、これらのアプローチは、情報処理の空間的優先順位の重要な違いを無視します。この概念実証研究では、視線追跡と顕著性マップを通じて、人間の観察者(N = 45)と3つのフィードフォワードDCNNの比較を示します。結果は、洞察に満ちた比較のために考慮する必要がある両方の視覚化方法で根本的に異なる解像度を明らかにします。さらに、vNetと呼ばれる生物学的にもっともらしい受容野サイズを持つDCNNが、標準のResNetアーキテクチャとは対照的に、人間の視聴行動とのより高い一致を明らかにするという証拠を提供します。カテゴリ、有生性、覚醒、価数などの画像固有の要因は、人間とDCNNの空間オブジェクト認識の優先順位の一致に直接関連しているのに対し、難易度や一般的な画像プロパティなどの他の指標は関連していないことがわかります。このアプローチにより、生物学とコンピュータービジョンの研究の交差点で新しい視点を開拓しようとしています。
Deep convolutional neural networks (DCNNs) and the ventral visual pathway share vast architectural and functional similarities in visual challenges such as object recognition. Recent insights have demonstrated that both hierarchical cascades can be compared in terms of both exerted behavior and underlying activation. However, these approaches ignore key differences in spatial priorities of information processing. In this proof-of-concept study, we demonstrate a comparison of human observers (N = 45) and three feedforward DCNNs through eye tracking and saliency maps. The results reveal fundamentally different resolutions in both visualization methods that need to be considered for an insightful comparison. Moreover, we provide evidence that a DCNN with biologically plausible receptive field sizes called vNet reveals higher agreement with human viewing behavior as contrasted with a standard ResNet architecture. We find that image-specific factors such as category, animacy, arousal, and valence have a direct link to the agreement of spatial object recognition priorities in humans and DCNNs, while other measures such as difficulty and general image properties do not. With this approach, we try to open up new perspectives at the intersection of biological and computer vision research.