arXiv reaDer
Convergence of backpropagation with momentum for network architectures with skip connections
 有向非巡回グラフ(DAG)を形成するネットワークを使用して、深層ニューラルネットワークのクラスを研究します。適応運動量を用いた勾配降下法で定義される逆伝播の場合、非線形活性化関数の大きなクラスの重みが収束することを示します。この証明は、Wuらの結果を一般化しています。 (2008)1つの隠れ層を持つフィードフォワードネットワークの収束を示した。 DAGアーキテクチャの有効性の例については、オートエンコーダーによる圧縮の例を説明し、いくつかのメトリックの下で順次フィードフォワードネットワークと比較します。
We study a class of deep neural networks with networks that form a directed acyclic graph (DAG). For backpropagation defined by gradient descent with adaptive momentum, we show weights converge for a large class of nonlinear activation functions. The proof generalizes the results of Wu et al. (2008) who showed convergence for a feed forward network with one hidden layer. For an example of the effectiveness of DAG architectures, we describe an example of compression through an autoencoder, and compare against sequential feed forward networks under several metrics.
updated: Sun Jan 19 2020 04:59:25 GMT+0000 (UTC)
published: Sun May 21 2017 06:50:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト