arXiv reaDer
サイン付きの最初のパワーリニアユニット
First Power Linear Unit with Sign
この論文は、FPLUSと呼ばれる斬新で洞察に満ちた活性化方法を提案します。これは、形式の極符号を持つ数学的べき乗関数を利用します。生体工学の直感的な意味を備えながら、一般的な逆演算によって啓発されます。公式は、いくつかの事前知識と予測特性の条件下で理論的に導き出され、その実現可能性は、典型的なベンチマークデータセットを使用した一連の実験を通じて検証されます。その結果は、私たちのアプローチが多数の活性化関数間で優れた競争力を持ち、全体で互換性のある安定性を持っていることを示しています多くのCNNアーキテクチャ。さらに、提示された関数をPFPLUSと呼ばれるより一般化されたタイプに拡張し、固定または学習可能な2つのパラメーターを使用して、その表現力を強化します。同一のテストの結果により、この改善が検証されます。
This paper proposes a novel and insightful activation method termed FPLUS, which exploits mathematical power function with polar signs in form. It is enlightened by common inverse operation while endowed with an intuitive meaning of bionics. The formulation is derived theoretically under conditions of some prior knowledge and anticipative properties, and then its feasibility is verified through a series of experiments using typical benchmark datasets, whose results indicate our approach owns superior competitiveness among numerous activation functions, as well as compatible stability across many CNN architectures. Furthermore, we extend the function presented to a more generalized type called PFPLUS with two parameters that can be fixed or learnable, so as to augment its expressive capacity, and outcomes of identical tests validate this improvement.
updated: Mon Nov 29 2021 06:47:58 GMT+0000 (UTC)
published: Mon Nov 29 2021 06:47:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト