arXiv reaDer
Hartley Spectral Pooling for Deep Learning
ほとんどの畳み込みニューラルネットワーク(CNN)では、計算効率と受容野サイズを向上させるために、隠れ層のダウンサンプリングが採用されています。このような操作は、一般にいわゆるプーリングです。スライディングウィンドウでの最大化と平均化(最大/平均プーリング)、およびストライド畳み込みの形式でのプレーンなダウンサンプリングは、一般的なプーリング方法です。プーリングは損失の多い手順であるため、私たちの作業の動機は、次元削減の損失を少なくするための新しいプーリングアプローチを設計することです。 Rippelらによって提案されたフーリエスペクトルプーリング(FSP)に触発されました。 al。 [1]、CNNでのハートレー変換ベースのスペクトルプーリング法を紹介します。 FSPと比較して、提案されたスペクトルプーリングは、周波数表現に複雑な演算を使用することを回避し、計算を削減します。スペクトルプーリングは、最大および平均プーリングよりも多くの構造機能をネットワークの識別可能性のために保持します。ハートリースペクトルプーリングが、MNISTおよびCIFAR-10データセットでのトレーニングCNNの収束を引き起こすことを経験的に示します。
In most convolution neural networks (CNNs), downsampling hidden layers is adopted for increasing computation efficiency and the receptive field size. Such operation is commonly so-called pooling. Maximation and averaging over sliding windows (max/average pooling), and plain downsampling in the form of strided convolution are popular pooling methods. Since the pooling is a lossy procedure, a motivation of our work is to design a new pooling approach for less lossy in the dimensionality reduction. Inspired by the Fourier spectral pooling(FSP) proposed by Rippel et. al. [1], we present the Hartley transform based spectral pooling method in CNNs. Compared with FSP, the proposed spectral pooling avoids the use of complex arithmetic for frequency representation and reduces the computation. Spectral pooling preserves more structure features for network's discriminability than max and average pooling. We empirically show that Hartley spectral pooling gives rise to the convergence of training CNNs on MNIST and CIFAR-10 datasets.
updated: Thu Oct 08 2020 20:05:06 GMT+0000 (UTC)
published: Sun Oct 07 2018 06:57:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト