arXiv reaDer
ニッシュ: 新しい負の刺激ハイブリッド活性化機能
Nish: A Novel Negative Stimulated Hybrid Activation Function
活性化関数は、ニューラル ネットワークの効率と堅牢性に大きな影響を与えます。別の方法として、最先端の非単調活性化関数である Negative Stimulated Hybrid Activation Function (Nish) を進化させました。これは、正の領域では Rectified Linear Unit (ReLU) 関数として機能し、負の領域では正弦シグモイド関数として機能します。言い換えれば、シグモイド関数と正弦関数を組み込み、従来の ReLU を超える新しいダイナミクスを獲得します。いくつかの最も一般的なベンチマークを使用して、重要なネットワークと最も一般的なアクティベーション関数のさまざまな組み合わせについて、Nish の一貫性を分析しました。実験結果から、Nish によって達成された精度は、分類において Mish と比較してわずかに優れていることが報告されました。
An activation function has a significant impact on the efficiency and robustness of the neural networks. As an alternative, we evolved a cutting-edge non-monotonic activation function, Negative Stimulated Hybrid Activation Function (Nish). It acts as a Rectified Linear Unit (ReLU) function for the positive region and a sinus-sigmoidal function for the negative region. In other words, it incorporates a sigmoid and a sine function and gaining new dynamics over classical ReLU. We analyzed the consistency of the Nish for different combinations of essential networks and most common activation functions using on several most popular benchmarks. From the experimental results, we reported that the accuracy rates achieved by the Nish is slightly better than compared to the Mish in classification.
updated: Sun Dec 18 2022 21:18:27 GMT+0000 (UTC)
published: Mon Oct 17 2022 13:32:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト