視覚的な理解には、シーン内のオブジェクト間の複雑な視覚的関係を理解する必要があります。ここでは、抽象的な視覚的推論の計算要求を特徴付けようとしています。これを行うには、現代の深層畳み込みニューラルネットワーク(CNN)が、23の視覚的推論問題のコレクションである「SyntheticVisual Reasoning Test」(SVRT)の課題を解決する方法を体系的に評価します。私たちの分析は、視覚的推論タスクの新しい分類法を明らかにします。これは、主に関係のタイプ(同じ異なる対空間関係の判断)と、基礎となるルールを構成するために使用される関係の数の両方によって説明できます。以前の認知神経科学の研究は、注意が人間の視覚的推論能力において重要な役割を果たすことを示唆しています。この仮説をテストするために、空間的および機能ベースの注意メカニズムを使用してCNNを拡張しました。 2番目の一連の実験では、SVRTの課題を解決する方法を学習するこれらの注意ネットワークの能力を評価し、結果として得られるアーキテクチャが、これらの視覚的推論タスクの中で最も難しいものを解決するのにはるかに効率的であることを発見しました。最も重要なことは、個々のタスクの対応する改善が、私たちの新しい分類法を部分的に説明したことです。全体として、この作業は視覚的推論の詳細な計算アカウントを提供し、視覚的推論の問題のタイプに応じて、機能ベースの注意と空間的注意の必要性の違いに関するテスト可能な神経科学の予測をもたらします。
Visual understanding requires comprehending complex visual relations between objects within a scene. Here, we seek to characterize the computational demands for abstract visual reasoning. We do this by systematically assessing the ability of modern deep convolutional neural networks (CNNs) to learn to solve the "Synthetic Visual Reasoning Test" (SVRT) challenge, a collection of twenty-three visual reasoning problems. Our analysis reveals a novel taxonomy of visual reasoning tasks, which can be primarily explained by both the type of relations (same-different vs. spatial-relation judgments) and the number of relations used to compose the underlying rules. Prior cognitive neuroscience work suggests that attention plays a key role in humans' visual reasoning ability. To test this hypothesis, we extended the CNNs with spatial and feature-based attention mechanisms. In a second series of experiments, we evaluated the ability of these attention networks to learn to solve the SVRT challenge and found the resulting architectures to be much more efficient at solving the hardest of these visual reasoning tasks. Most importantly, the corresponding improvements on individual tasks partially explained our novel taxonomy. Overall, this work provides an granular computational account of visual reasoning and yields testable neuroscience predictions regarding the differential need for feature-based vs. spatial attention depending on the type of visual reasoning problem.