Rectified Linear Unitは現在、深い畳み込みニューラルネットワークにおける最先端の活性化関数です。 ReLUの死にかけているニューロンの問題に対処するために、トレーニング可能な係数を持つ正弦関数をReLUに追加するパラメトリック変分線形ユニット(PVLU)を提案します。 PVLUは、実領域全体に非線形性と非ゼロ勾配を導入することに加えて、伝達学習のコンテキストで実装すると、モデルの一般化と堅牢性を向上させることができます。単純な非転送シーケンシャルCNNでは、PVLUにより、ReLUと比較して、データ拡張の有無にかかわらず、16.3%および11.3%の相対誤差が減少しました。 PVLUは、転移学習の問題についてもテストされています。 VGG-16モデルとVGG-19モデルでは、ReLUをPVLUに置き換えた後、CIFAR-10でそれぞれ9.5%と10.7%の相対誤差が減少します。ガウスフィルター処理されたCIFAR-10画像でトレーニングすると、VGGモデルでも同様の改善が見られます。最も注目すべきは、PVLUの微調整により、CIFAR-10とCIFAR-100の両方の最先端のResNetモデルで最大10%以上の相対誤差の削減が可能になることです。
The Rectified Linear Unit is currently a state-of-the-art activation function in deep convolutional neural networks. To combat ReLU's dying neuron problem, we propose the Parametric Variational Linear Unit (PVLU), which adds a sinusoidal function with trainable coefficients to ReLU. Along with introducing nonlinearity and non-zero gradients across the entire real domain, PVLU allows for increased model generalization and robustness when implemented in the context of transfer learning. On a simple, non-transfer sequential CNN, PVLU led to relative error decrease of 16.3% and 11.3% without and with data augmentation, relative to ReLU. PVLU is also tested on transfer learning problems. The VGG-16 and VGG-19 models experience relative error reductions of 9.5% and 10.7% on CIFAR-10, respectively, after the substitution of ReLU with PVLU. When training on Gaussian-filtered CIFAR-10 images, similar improvements are noted for the VGG models. Most notably, PVLU fine tuning allows for relative error reductions up to and exceeding 10% on near state-of-the-art ResNet models for both CIFAR-10 and CIFAR-100.