arXiv reaDer
ディープ ニューラル ネットワークにおける高速ウォルシュ アダマール変換と平滑化しきい値処理に基づくバイナリ層
Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary Layers in Deep Neural Networks
この論文では、ディープ ニューラル ネットワークの 1×1 畳み込み層を置き換えるために、高速ウォルシュ-アダマール変換 (WHT) と滑らかなしきい値に基づいた新しい層を提案します。 WHT ドメインでは、よく知られたソフトしきい値演算子の平滑化バージョンである新しい平滑化しきい値非線形性を使用して、変換ドメイン係数のノイズを除去します。また、基本的な 2×2 アダマール変換から、3×3 の深さ方向に分離可能な畳み込み層を実装するための乗算不要の演算子のファミリーを紹介します。これらの 2 種類のレイヤーを使用して、MobileNet-V2 のボトルネック レイヤーを置き換え、ネットワークのパラメーター数を減らし、精度をわずかに低下させます。たとえば、最後の 3 番目のボトルネック レイヤーを置き換えることで、パラメーターの数を 227 万から 54 万に減らします。これにより、CIFAR-10 データセットの精度が 95.21% から 92.98% に低下します。私たちのアプローチは、データ処理の速度を大幅に向上させます。高速ウォルシュ-アダマール変換の計算量は O(mlog_2 m) です。その結果、1×1 畳み込み層よりも計算効率が高くなります。高速ウォルシュ-アダマール層は、NVIDIA Jetson Nano コンピューター ボード上の 1×1 畳み込み層よりも約 2 倍高速に R^10×32×32×1024 のテンソルを処理します。
In this paper, we propose a novel layer based on fast Walsh-Hadamard transform (WHT) and smooth-thresholding to replace 1×1 convolution layers in deep neural networks. In the WHT domain, we denoise the transform domain coefficients using the new smooth-thresholding non-linearity, a smoothed version of the well-known soft-thresholding operator. We also introduce a family of multiplication-free operators from the basic 2×2 Hadamard transform to implement 3×3 depthwise separable convolution layers. Using these two types of layers, we replace the bottleneck layers in MobileNet-V2 to reduce the network's number of parameters with a slight loss in accuracy. For example, by replacing the final third bottleneck layers, we reduce the number of parameters from 2.270M to 540K. This reduces the accuracy from 95.21% to 92.98% on the CIFAR-10 dataset. Our approach significantly improves the speed of data processing. The fast Walsh-Hadamard transform has a computational complexity of O(mlog_2 m). As a result, it is computationally more efficient than the 1×1 convolution layer. The fast Walsh-Hadamard layer processes a tensor in R^10×32×32×1024 about 2 times faster than 1×1 convolution layer on NVIDIA Jetson Nano computer board.
updated: Sun Jun 06 2021 17:40:08 GMT+0000 (UTC)
published: Wed Apr 14 2021 19:23:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト