arXiv reaDer
STL: ニューラル ネットワーク用の符号付き対数と切り捨てられた対数の活性化関数
STL: A Signed and Truncated Logarithm Activation Function for Neural Networks
活性化関数はニューラル ネットワークにおいて重要な役割を果たします。これらはネットワークに非線形性をもたらします。したがって、それらのプロパティはニューラル ネットワークの精度と実行パフォーマンスにとって重要です。この論文では、活性化関数として新しい符号付き対数関数と切り捨て対数関数を提示します。提案された活性化関数は、奇関数、単調、微分可能、値の範囲に制限がなく、連続的な非ゼロの勾配を持つなど、非常に優れた数学的特性を備えています。これらの特性により、活性化関数として優れた選択肢となります。これを、いくつかのよく知られたニューラル ネットワークの他のよく知られた活性化関数と比較します。結果は、それが最先端であることを裏付けています。提案された活性化関数は、活性化関数が必要な広範囲のニューラル ネットワークに適用できます。
Activation functions play an essential role in neural networks. They provide the non-linearity for the networks. Therefore, their properties are important for neural networks' accuracy and running performance. In this paper, we present a novel signed and truncated logarithm function as activation function. The proposed activation function has significantly better mathematical properties, such as being odd function, monotone, differentiable, having unbounded value range, and a continuous nonzero gradient. These properties make it an excellent choice as an activation function. We compare it with other well-known activation functions in several well-known neural networks. The results confirm that it is the state-of-the-art. The suggested activation function can be applied in a large range of neural networks where activation functions are necessary.
updated: Mon Jul 31 2023 03:41:14 GMT+0000 (UTC)
published: Mon Jul 31 2023 03:41:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト