活性化関数は、畳み込みニューラルネットワークのトレーニングで重要な役割を果たします。このため、ディープラーニングコミュニティでは、効率的で機能的な機能を開発することが重要な問題です。これらのアプローチの鍵は、信頼性の高いパラメーター学習を可能にし、勾配問題の消失を回避することです。この作業の目的は、いくつかの異なるアクティベーション関数を使用してトレーニングされた畳み込みニューラルネットワークのアンサンブルを提案することです。また、ここでは初めて新しい活性化機能を提案します。私たちの目的は、小規模/中規模の生物医学データセットにおける畳み込みニューラルネットワークのパフォーマンスを向上させることです。私たちの結果は、提案された集団が、活性化関数として標準のReLUでトレーニングされた畳み込みニューラルネットワークよりも優れていることを明確に示しています。提案された集団は、テストされたスタンドアロンアクティベーション関数のp値がそれぞれ0.01を上回っています。信頼性の高いパフォーマンス比較のために、2つの有名な畳み込みニューラルネットワーク(Vgg16とResNet50)を使用して、10以上のデータセットでアプローチをテストしました。ここで使用されるMATLABコードは、https://github.com/LorisNanniで入手できます。
Activation functions play a vital role in the training of Convolutional Neural Networks. For this reason, to develop efficient and performing functions is a crucial problem in the deep learning community. Key to these approaches is to permit a reliable parameter learning, avoiding vanishing gradient problems. The goal of this work is to propose an ensemble of Convolutional Neural Networks trained using several different activation functions. Moreover, a novel activation function is here proposed for the first time. Our aim is to improve the performance of Convolutional Neural Networks in small/medium size biomedical datasets. Our results clearly show that the proposed ensemble outperforms Convolutional Neural Networks trained with standard ReLU as activation function. The proposed ensemble outperforms with a p-value of 0.01 each tested stand-alone activation function; for reliable performance comparison we have tested our approach in more than 10 datasets, using two well-known Convolutional Neural Network: Vgg16 and ResNet50. MATLAB code used here will be available at https://github.com/LorisNanni.