この論文では、畳み込みニューラル ネットワーク (CNN) の 3×3 Conv2D 層の代替として、一連の変換ベースのニューラル ネットワーク層を提案します。提案されたレイヤーは、離散コサイン変換 (DCT) やアダマール変換 (HT) などの直交変換、および双直交ブロック ウェーブレット変換 (BWT) に基づいて実装できます。畳み込みフィルタリング操作は、畳み込み定理を利用して要素ごとの乗算を使用して変換ドメインで実行されます。変換ドメインのノイズを除去するトレーニング可能なソフトしきい値層は、変換ドメイン層に非線形性をもたらします。空間に依存せずチャネル固有の Conv2D レイヤーと比較して、提案されたレイヤーは位置固有およびチャネル固有です。提案されたレイヤーは、ImageNet-1K 分類タスクでの通常の ResNets の精度結果を改善しながら、パラメーターと乗算の数を大幅に削減します。さらに、提案されたレイヤーは、従来のResNetのグローバル平均プーリングレイヤーの前にバッチ正規化レイヤーを追加レイヤーとして挿入して、パラメーターの数と計算コストをごくわずかに増加させて分類精度を向上させることができます。
In this paper, we propose a set of transform-based neural network layers as an alternative to the 3×3 Conv2D layers in Convolutional Neural Networks (CNNs). The proposed layers can be implemented based on orthogonal transforms such as Discrete Cosine Transform (DCT) and Hadamard transform (HT), and the biorthogonal Block Wavelet Transform (BWT). Convolutional filtering operations are performed in the transform domain using element-wise multiplications by taking advantage of the convolution theorems. Trainable soft-thresholding layers that remove noise in the transform domain bring nonlinearity to the transform domain layers. Compared to the Conv2D layer which is spatial-agnostic and channel-specific, the proposed layers are location-specific and channel-specific. The proposed layers reduce the number of parameters and multiplications significantly while improving the accuracy results of regular ResNets on the ImageNet-1K classification task. Furthermore, the proposed layers can be inserted with a batch normalization layer before the global average pooling layer in the conventional ResNets as an additional layer to improve classification accuracy with a negligible increase in the number of parameters and computational cost.