arXiv reaDer
ツリー アーキテクチャでの学習は、畳み込みフィードフォワード ネットワークよりも優れています
Learning on tree architectures outperforms a convolutional feedforward network
高度な深層学習アーキテクチャは、完全に接続された数十の畳み込み隠れ層で構成されていますが、これらはすでに数百にまで拡張されており、生物学的な実現にはほど遠いものです。出力ユニットと重量の間のルートの数は通常、バックプロパゲーション手法を使用して多いため、それらの信じがたい生物学的ダイナミクスは、非局所的な方法で重量を変更することに基づいています。ここでは、実験ベースの樹状ツリーの適応に触発された、3 層ツリー アーキテクチャでのオフラインおよびオンライン CIFAR-10 データベース学習が、5 層畳み込み LeNet の達成可能な成功率を上回っています。単一のルートが出力ユニットと重みを接続する高度に枝刈りされたツリーの逆伝播手順は、効率的な樹状深層学習を表しています。
Advanced deep learning architectures consist of tens of fully connected and convolutional hidden layers, which are already extended to hundreds, and are far from their biological realization. Their implausible biological dynamics is based on changing a weight in a non-local manner, as the number of routes between an output unit and a weight is typically large, using the backpropagation technique. Here, offline and online CIFAR-10 database learning on 3-layer tree architectures, inspired by experimental-based dendritic tree adaptations, outperforms the achievable success rates of the 5-layer convolutional LeNet. Its highly pruning tree backpropagation procedure, where a single route connects an output unit and a weight, represents an efficient dendritic deep learning.
updated: Mon Nov 21 2022 11:48:30 GMT+0000 (UTC)
published: Mon Nov 21 2022 11:48:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト