最新のフィードフォワード畳み込みニューラルネットワーク(CNN)は、超人間レベルでいくつかのコンピュータービジョンタスクを解決できるようになりました。ただし、これらのネットワークは、人間の視覚を大まかに模倣しているだけです。人間の視覚との違いの1つは、人間と同じように、主観的輪郭(カニッツァの正方形など)を知覚していないように見えることです。視覚野からの生理学的証拠は、錯覚の輪郭の知覚がフィードバック接続を伴う可能性があることを示唆しています。リカレントフィードバックニューラルネットワークは、人間のような錯覚の輪郭を知覚しますか?この作業では、深いフィードフォワード畳み込みネットワークに脳に触発された反復ダイナミクスを装備します。ネットワークは、最初に、自然画像データセットの教師なし再構成目的で事前トレーニングされ、自然オブジェクトの輪郭統計に公開されました。次に、分類決定レイヤーが追加され、モデルがフォーム識別タスクで微調整されました。正方形とランダムに方向付けられたインデューサーの形状(主観的輪郭なし)です。最後に、モデルは、なじみのない「錯覚の輪郭」構成でテストされました。錯覚の正方形を形成するように方向付けられたインデューサーの形状です。フィードフォワードベースラインと比較して、反復的な「予測コーディング」フィードバックにより、より幻想的な輪郭が物理的な正方形として分類されました。錯覚の輪郭の知覚は、モデルによって生成された画像再構成の輝度プロファイルで測定可能であり、モデルが実際に錯覚を「見る」ことを示しています。アブレーション研究により、自然な画像の事前トレーニングとフィードバックエラー訂正の両方が幻想の知覚に重要であることが明らかになりました。最後に、より深いネットワーク(VGG)で結論を検証しました。同じ予測コーディングフィードバックダイナミクスを追加すると、再び主観的輪郭の知覚につながります。
Modern feedforward convolutional neural networks (CNNs) can now solve some computer vision tasks at super-human levels. However, these networks only roughly mimic human visual perception. One difference from human vision is that they do not appear to perceive illusory contours (e.g. Kanizsa squares) in the same way humans do. Physiological evidence from visual cortex suggests that the perception of illusory contours could involve feedback connections. Would recurrent feedback neural networks perceive illusory contours like humans? In this work we equip a deep feedforward convolutional network with brain-inspired recurrent dynamics. The network was first pretrained with an unsupervised reconstruction objective on a natural image dataset, to expose it to natural object contour statistics. Then, a classification decision layer was added and the model was finetuned on a form discrimination task: squares vs. randomly oriented inducer shapes (no illusory contour). Finally, the model was tested with the unfamiliar ''illusory contour'' configuration: inducer shapes oriented to form an illusory square. Compared with feedforward baselines, the iterative ''predictive coding'' feedback resulted in more illusory contours being classified as physical squares. The perception of the illusory contour was measurable in the luminance profile of the image reconstructions produced by the model, demonstrating that the model really ''sees'' the illusion. Ablation studies revealed that natural image pretraining and feedback error correction are both critical to the perception of the illusion. Finally we validated our conclusions in a deeper network (VGG): adding the same predictive coding feedback dynamics again leads to the perception of illusory contours.