arXiv reaDer
Self-Organised Factorial Encoding of a Toroidal Manifold
 トロイダル多様体から派生した入力データをエンコードするためにニューラルネットワークを最適に使用する方法を分析的に示します。 2層ネットワークのケースが考慮されます。ここでは、出力は一連の離散神経発火イベントであると想定されています。ネットワーク目的関数は、ネットワークが出力から入力を再構築しようとしたときに発生する平均ユークリッド誤差を測定します。この最適化問題は、トロイダル入力多様体に対して解析的に解決され、ネットワークがソフトベクトル量子化器として機能するジョイントエンコーダーと、ネットワークが一対のソフトベクトル量子化器として機能する階乗エンコーダーの2種類のソリューションが得られます。 (トーラスの円形部分空間ごとに1つ)。ファイヤーショナルエンコーダーは、観測された発火イベントの数が多い場合、小さなネットワークサイズに適しています。このような自己組織化階乗エンコーディングは、特定のエンコーディングタスクを実行するために必要なネットワークのサイズを制限するために使用でき、入力多様体をその構成部分多様体に分解します。
It is shown analytically how a neural network can be used optimally to encode input data that is derived from a toroidal manifold. The case of a 2-layer network is considered, where the output is assumed to be a set of discrete neural firing events. The network objective function measures the average Euclidean error that occurs when the network attempts to reconstruct its input from its output. This optimisation problem is solved analytically for a toroidal input manifold, and two types of solution are obtained: a joint encoder in which the network acts as a soft vector quantiser, and a factorial encoder in which the network acts as a pair of soft vector quantisers (one for each of the circular subspaces of the torus). The factorial encoder is favoured for small network sizes when the number of observed firing events is large. Such self-organised factorial encoding may be used to restrict the size of network that is required to perform a given encoding task, and will decompose an input manifold into its constituent submanifolds.
updated: Fri Sep 09 2005 17:48:53 GMT+0000 (UTC)
published: Fri Oct 15 2004 20:25:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト