バックプロパゲーションによってトレーニングされた深層人工ニューラル ネットワーク (DNN) は、哺乳類の視覚系の効果的なモデルを提供し、一次視覚野から下側頭葉皮質 (IT) までの神経応答の階層を正確にキャプチャします。ただし、これらのネットワークが高次皮質領域の表現を説明する能力は比較的不足しており、あまり研究されていません。たとえば、DNN は、後脾臓皮質および後頭頂皮質の回路によって具現化される自己中心性からアロセントリック性への変換のモデルとしてあまり成功していません。さまざまな自己中心的な視点から見たシーンを変換する DNN の能力を調査するために設計された、海馬に依存するタスクに触発された新しいシーン認識ベンチマークについて説明します。側頭葉構造と海馬の間の接続性に触発されたネットワーク アーキテクチャを使用して、トリプレット損失を使用してトレーニングされた DNN がこのタスクを学習できることを示します。さらに、因数分解された潜在空間を強制することで、情報伝達を「何を」経路と「どこで」経路に分割し、それを使用して入力を再構築することができます。これにより、CATER および MOVi-A、B、C ベンチマークでの教師なしオブジェクト セグメンテーションの最先端技術を打ち負かすことができます。
Deep artificial neural networks (DNNs) trained through backpropagation provide effective models of the mammalian visual system, accurately capturing the hierarchy of neural responses through primary visual cortex to inferior temporal cortex (IT). However, the ability of these networks to explain representations in higher cortical areas is relatively lacking and considerably less well researched. For example, DNNs have been less successful as a model of the egocentric to allocentric transformation embodied by circuits in retrosplenial and posterior parietal cortex. We describe a novel scene perception benchmark inspired by a hippocampal dependent task, designed to probe the ability of DNNs to transform scenes viewed from different egocentric perspectives. Using a network architecture inspired by the connectivity between temporal lobe structures and the hippocampus, we demonstrate that DNNs trained using a triplet loss can learn this task. Moreover, by enforcing a factorized latent space, we can split information propagation into "what" and "where" pathways, which we use to reconstruct the input. This allows us to beat the state-of-the-art for unsupervised object segmentation on the CATER and MOVi-A,B,C benchmarks.