arXiv reaDer
ConformalLayers:連想層を持つ非線形シーケンシャルニューラルネットワーク
ConformalLayers: A non-linear sequential neural network with associative layers
畳み込みニューラルネットワーク(CNN)は広く適用されています。ただし、CNNが大きくなると、算術演算の数とメモリフットプリントも増加します。さらに、典型的な非線形活性化関数は、連続する層によってエンコードされた操作の結合を許可せず、それらを組み合わせることによって中間ステップの単純化を防ぎます。 CNNのシーケンシャルレイヤー間の関連付けを可能にする新しい活性化関数を紹介します。活性化関数は非線形ですが、ユークリッド幾何学の共形モデルで一連の線形演算で表すことができます。このドメインでは、畳み込み、平均プーリング、ドロップアウトなどの操作は線形のままですが、これらに限定されません。結合性を利用して、すべての「コンフォーマルレイヤー」を組み合わせ、ネットワークの深さに関係なく推論のコストを一定にします。
Convolutional Neural Networks (CNNs) have been widely applied. But as the CNNs grow, the number of arithmetic operations and memory footprint also increase. Furthermore, typical non-linear activation functions do not allow associativity of the operations encoded by consecutive layers, preventing the simplification of intermediate steps by combining them. We present a new activation function that allows associativity between sequential layers of CNNs. Even though our activation function is non-linear, it can be represented by a sequence of linear operations in the conformal model for Euclidean geometry. In this domain, operations like, but not limited to, convolution, average pooling, and dropout remain linear. We take advantage of associativity to combine all the "conformal layers" and make the cost of inference constant regardless of the depth of the network.
updated: Tue Nov 09 2021 13:46:27 GMT+0000 (UTC)
published: Sat Oct 23 2021 01:33:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト