arXiv reaDer
APTx: 深層学習で使用される MISH、SWISH、ReLU のバリアントよりも優れたアクティベーション関数
APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
アクティベーション関数は、ディープ ニューラル ネットワークに非線形性を導入します。この非線形性は、ニューラル ネットワークがデータセットからより速く効率的に学習するのに役立ちます。ディープ ラーニングでは、問題ステートメントの種類に基づいて多くの活性化関数が開発され、使用されます。 ReLU のバリアントである SWISH と MISH は goto アクティベーション関数です。 MISH 関数は、SWISH と同等またはそれ以上のパフォーマンスを持ち、ReLU よりもはるかに優れていると考えられています。この論文では、APTx という名前の活性化関数を提案します。これは、MISH と同様に動作しますが、計算に必要な数学的操作が少なくて済みます。 APTx の計算要件が少ないため、モデルのトレーニングが高速化されるため、ディープ ラーニング モデルのハードウェア要件も軽減されます。
Activation Functions introduce non-linearity in the deep neural networks. This nonlinearity helps the neural networks learn faster and efficiently from the dataset. In deep learning, many activation functions are developed and used based on the type of problem statement. ReLU's variants, SWISH, and MISH are goto activation functions. MISH function is considered having similar or even better performance than SWISH, and much better than ReLU. In this paper, we propose an activation function named APTx which behaves similar to MISH, but requires lesser mathematical operations to compute. The lesser computational requirements of APTx does speed up the model training, and thus also reduces the hardware requirement for the deep learning model.
updated: Fri Sep 23 2022 17:39:14 GMT+0000 (UTC)
published: Sat Sep 10 2022 14:26:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト