arXiv reaDer
AdderNet:ディープラーニングで本当に乗算が必要ですか?
AdderNet: Do We Really Need Multiplications in Deep Learning?
安価な加算演算と比較して、乗算演算は計算がはるかに複雑です。ディープ ニューラル ネットワークで広く使用されている畳み込みは、入力特徴フィルターと畳み込みフィルター間の類似性を測定するための正確な相互相関です。これには、浮動小数点値間の大量の乗算が含まれます。この論文では、ディープ ニューラル ネットワーク、特に畳み込みニューラル ネットワーク (CNN) でのこれらの大規模な乗算を、計算コストを削減するためのはるかに安価な加算と交換する加算ネットワーク (AdderNets) を紹介します。 AdderNets では、フィルターと入力特徴の間の ℓ_1 ノルム距離を出力応答として使用します。ニューラル ネットワークの最適化に対するこの新しい類似度測定の影響は、徹底的に分析されています。より良いパフォーマンスを達成するために、完全精度の勾配を調査することにより、AdderNets の特別な逆伝播アプローチを開発します。次に、各ニューロンの勾配の大きさに応じて AdderNets のトレーニング手順を強化する適応学習率戦略を提案します。その結果、提案された AdderNets は、畳み込み層での乗算なしで、ImageNet データセットで ResNet-50 を使用して、74.9% のトップ 1 精度と 91.7% トップ 5 の精度を達成できます。コードは https://github.com/huaweinoah/AdderNet で公開されています。
Compared with cheap addition operation, multiplication operation is of much higher computation complexity. The widely-used convolutions in deep neural networks are exactly cross-correlation to measure the similarity between input feature and convolution filters, which involves massive multiplications between float values. In this paper, we present adder networks (AdderNets) to trade these massive multiplications in deep neural networks, especially convolutional neural networks (CNNs), for much cheaper additions to reduce computation costs. In AdderNets, we take the ℓ_1-norm distance between filters and input feature as the output response. The influence of this new similarity measure on the optimization of neural network have been thoroughly analyzed. To achieve a better performance, we develop a special back-propagation approach for AdderNets by investigating the full-precision gradient. We then propose an adaptive learning rate strategy to enhance the training procedure of AdderNets according to the magnitude of each neuron's gradient. As a result, the proposed AdderNets can achieve 74.9% Top-1 accuracy 91.7% Top-5 accuracy using ResNet-50 on the ImageNet dataset without any multiplication in convolution layer. The codes are publicly available at: https://github.com/huaweinoah/AdderNet.
updated: Tue Jun 29 2021 09:53:28 GMT+0000 (UTC)
published: Tue Dec 31 2019 06:56:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト