活性化関数は、ネットワークに非線形性を導入するニューラルネットワークの重要なコンポーネントです。ニューラルネットワークの最先端のパフォーマンスは、活性化関数の完璧な選択にも依存します。 ErfActとPserfと呼ばれる2つの新しい非単調で滑らかなトレーニング可能な活性化関数を提案します。実験によると、提案された機能は、ReLU、Swish、Mishなどの広く使用されているアクティベーションと比較してネットワークパフォーマンスを大幅に向上させます。 ReLUをErfActとPserfに置き換えると、CIFAR100データセットのShufflenet V2(2.0x)ネットワークでトップ1の精度が5.68%と5.42%向上し、Shufflenet V2(2.0x)でトップ1の精度が2.11%と1.96%向上します。 CIFAR10データセットのネットワーク、Pascal VOCデータセットのSSD300モデルの平均平均精度(mAP)が1.0%、1.0%向上。
An activation function is a crucial component of a neural network that introduces non-linearity in the network. The state-of-the-art performance of a neural network depends also on the perfect choice of an activation function. We propose two novel non-monotonic smooth trainable activation functions, called ErfAct and Pserf. Experiments suggest that the proposed functions improve the network performance significantly compared to the widely used activations like ReLU, Swish, and Mish. Replacing ReLU by ErfAct and Pserf, we have 5.68% and 5.42% improvement for top-1 accuracy on Shufflenet V2 (2.0x) network in CIFAR100 dataset, 2.11% and 1.96% improvement for top-1 accuracy on Shufflenet V2 (2.0x) network in CIFAR10 dataset, 1.0%, and 1.0% improvement on mean average precision (mAP) on SSD300 model in Pascal VOC dataset.