arXiv reaDer
Shallow Unorganized Neural Networks using Smart Neuron Model for Visual Perception
 ディープニューラルネットワーク(DNN)の最近の成功により、多くの挑戦的なアプリケーションにおけるニューラルコンピューティングの重要な機能が明らかになりました。 DNNは生物学的ニューロンのエミュレートから派生していますが、DNNが人間の知性のメカニズムをエミュレートするための最終的かつ最良のモデルであるかどうかには疑問が残っています。特に、計算DNNモデルと観察された生物学的ニューロンの事実の間には2つの相違点があります。まず、人間のニューロンはランダムに相互接続されますが、DNNは適切に機能するように慎重に設計されたアーキテクチャを必要とします。第二に、人間のニューロンは通常、スパイキングレイテンシが長い(〜100ミリ秒)ため、意思決定に関与できるレイヤーが多くないことを意味しますが、DNNは高い精度を保証するために数百のレイヤーを持つことができます。この論文では、ANN / DNNとは対照的に、新しい計算モデル、すなわち浅い非組織化ニューラルネットワーク(SUNN)を提案します。提案されたSUNNは、3つの基本的な面で標準のANNまたはDNNと異なります。1)SUNNは、各人工ニューロン細胞が固定加重和を実行するのではなく、その入力に適応的に応答できる適応ニューロン細胞モデルSmart Neuronsに基づいています。 ANN / DNNの古典的なニューロンモデルのような操作。 2)SUNNは、非常に浅いアーキテクチャの計算タスクに対処できます。 3)SUNNは、人間の脳のように、そしてチューリングのB型非組織化マシンによって提案されているように、ランダムな相互接続を備えた自然なトポロジーを持っています。提案されたSUNNアーキテクチャを実装し、多数の監視されていない初期段階の視覚認識タスクでテストしました。驚くべきことに、このような単純な浅いアーキテクチャは、我々の実験で非常に良い結果を達成しました。新しい計算モデルの成功により、最先端のアルゴリズムと同等またはそれ以上のパフォーマンスを達成できるチューリングのBタイプ未編成マシンの最初の実用的な例になります。
The recent success of Deep Neural Networks (DNNs) has revealed the significant capability of neural computing in many challenging applications. Although DNNs are derived from emulating biological neurons, there still exist doubts over whether or not DNNs are the final and best model to emulate the mechanism of human intelligence. In particular, there are two discrepancies between computational DNN models and the observed facts of biological neurons. First, human neurons are interconnected randomly, while DNNs need carefully-designed architectures to work properly. Second, human neurons usually have a long spiking latency (~100ms) which implies that not many layers can be involved in making a decision, while DNNs could have hundreds of layers to guarantee high accuracy. In this paper, we propose a new computational model, namely shallow unorganized neural networks (SUNNs), in contrast to ANNs/DNNs. The proposed SUNNs differ from standard ANNs or DNNs in three fundamental aspects: 1) SUNNs are based on an adaptive neuron cell model, Smart Neurons, that allows each artificial neuron cell to adaptively respond to its inputs rather than carrying out a fixed weighted-sum operation like the classic neuron model in ANNs/DNNs; 2) SUNNs can cope with computational tasks with very shallow architectures; 3) SUNNs have a natural topology with random interconnections, as the human brain does, and as proposed by Turing's B-type unorganized machines. We implemented the proposed SUNN architecture and tested it on a number of unsupervised early stage visual perception tasks. Surprisingly, such simple shallow architectures achieved very good results in our experiments. The success of our new computational model makes it the first workable example of Turing's B-Type unorganized machine that can achieve comparable or better performance against the state-of-the-art algorithms.
updated: Wed Oct 30 2019 23:50:49 GMT+0000 (UTC)
published: Sun Jul 21 2019 23:09:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト