arXiv reaDer
A Pre-defined Sparse Kernel Based Convolution for Deep CNNs
  計算およびストレージリソースに対する高い需要は、限られたリソースのデバイスでのディープコンボリューショナルニューラルネットワーク(CNN)の展開を大きく妨げます。最近のCNNアーキテクチャでは、複雑さを軽減したバージョン(SuffleNetやMobileNetなど)が提案されていますが、その代償として不正確さが多少低下しています。このペーパーでは、CNNトレーニングと推論の両方の複雑さと精度のトレードオフの大幅な改善を約束する、事前定義されたスパース2Dカーネルベースの畳み込みであるpSConvを提案します。このアプローチの可能性を調べるために、ResNet18とVGG16の両方のアーキテクチャのスパースバリアントで、広く受け入れられている2つのデータセットCIFAR-10とTiny ImageNetを実験しました。私たちのアプローチでは、標準CNNに比べて分類精度がわずかに低下し、パラメーター数が最大4.24倍削減されることが示されています。このアプローチは、ゼロに固定されていない9つの要素のうち4つだけを持つ3x3カーネルを持つpSConvを備えたResNet18のバリアントを使用して、ShuffleNetの一般的なバリアントよりも優れています。特に、パラメーター数はCIFAR-10で1.7倍、Tiny ImageNetで2.29倍に削減され、精度は最大4%向上しています。
The high demand for computational and storage resources severely impede the deployment of deep convolutional neural networks (CNNs) in limited-resource devices. Recent CNN architectures have proposed reduced complexity versions (e.g. SuffleNet and MobileNet) but at the cost of modest decreases inaccuracy. This paper proposes pSConv, a pre-defined sparse 2D kernel-based convolution, which promises significant improvements in the trade-off between complexity and accuracy for both CNN training and inference. To explore the potential of this approach, we have experimented with two widely accepted datasets, CIFAR-10 and Tiny ImageNet, in sparse variants of both the ResNet18 and VGG16 architectures. Our approach shows a parameter count reduction of up to 4.24x with modest degradation in classification accuracy relative to that of standard CNNs. Our approach outperforms a popular variant of ShuffleNet using a variant of ResNet18 with pSConv having 3x3 kernels with only four of nine elements not fixed at zero. In particular, the parameter count is reduced by 1.7x for CIFAR-10 and 2.29x for Tiny ImageNet with an increased accuracy of ~4%.
updated: Wed Oct 16 2019 16:31:05 GMT+0000 (UTC)
published: Wed Oct 02 2019 00:38:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト