リカレントニューラルネットワーク(RNN)は、視覚オブジェクトの分類タスクで、特に画像が乱雑になるなどの困難な状況で、フィードフォワードアーキテクチャよりも優れたパフォーマンスを発揮することが示されています。ただし、これらの条件での反復情報フローの正確な計算上の役割についてはほとんどわかっていません。ここでは、繰り返しがカテゴリ直交補助変数(オブジェクトの位置、方向、およびスケール)の通信を介してオブジェクトの分類を繰り返し支援するという仮説に基づいて、オブジェクトの分類用にトレーニングされたRNNをテストします。診断線形読み出しを使用すると、(a)補助変数に関する情報がすべてのネットワーク層で時間の経過とともに増加し、(b)この情報が実際に繰り返しの情報フローに存在し、(c)その操作がタスクのパフォーマンスに大きく影響することがわかります。これらの観察結果は、カテゴリ直交補助変数情報が反復接続を介して伝達され、雑然とした環境でカテゴリ推論を最適化するために使用されるという仮説を確認します。
Recurrent neural networks (RNNs) have been shown to perform better than feedforward architectures in visual object categorization tasks, especially in challenging conditions such as cluttered images. However, little is known about the exact computational role of recurrent information flow in these conditions. Here we test RNNs trained for object categorization on the hypothesis that recurrence iteratively aids object categorization via the communication of category-orthogonal auxiliary variables (the location, orientation, and scale of the object). Using diagnostic linear readouts, we find that: (a) information about auxiliary variables increases across time in all network layers, (b) this information is indeed present in the recurrent information flow, and (c) its manipulation significantly affects task performance. These observations confirm the hypothesis that category-orthogonal auxiliary variable information is conveyed through recurrent connectivity and is used to optimize category inference in cluttered environments.