この作業では、新しい非単調活性化関数であるモジュラスを提案します。非線形性に関する報告された研究の大部分は、単調関数に焦点を当てています。コンピューター ビジョン タスクでモジュラス アクティベーション関数を使用することにより、モデルが他の非線形性よりも優れた一般化を行う方法を経験的に示します。テストされた最高のベンチマーク アクティベーションと比較して、CIFAR100 で最大 15%、CIFAR10 で最大 4% 精度が向上します。提案された活性化関数を使用すると、活性化関数の導関数が常に 1 または -1 であるため、勾配の消失とニューロンの死滅の問題が解消されます。提案された関数とその派生物の単純さにより、このソリューションは TinyML およびハードウェア アプリケーションに特に適しています。
In this work we propose a new non-monotonic activation function: the modulus. The majority of the reported research on nonlinearities is focused on monotonic functions. We empirically demonstrate how by using the modulus activation function on computer vision tasks the models generalize better than with other nonlinearities - up to a 15% accuracy increase in CIFAR100 and 4% in CIFAR10, relative to the best of the benchmark activations tested. With the proposed activation function the vanishing gradient and dying neurons problems disappear, because the derivative of the activation function is always 1 or -1. The simplicity of the proposed function and its derivative make this solution specially suitable for TinyML and hardware applications.