arXiv reaDer
Inference, Learning and Attention Mechanisms that Exploit and Preserve Sparsity in Convolutional Networks
 CNNは自然に密にサンプリングされたデータに役立ち、洗練された実装が利用可能ですが、スパースデータを効率的に処理する機能がありません。この作業では、機能マップとフィルターの重みの両方でスパース性を活用するツールのスイートを導入し、高度なスパース性でデータを処理するときに、従来の密なフレームワークよりも大幅に少ないメモリフットプリントと計算時間を可能にします。私たちのスキームは、(i)直接スパース畳み込みに基づく畳み込み層の効率的なGPU実装を提供します。 (ii)畳み込み層内のフィルターステップ。これは、フィルイン、つまり畳み込みがスパース性を急速に低下させる傾向を防ぎ、計算リソースの上限を保証する、注意を呼びます。 (iii)逆伝播アルゴリズムの適応。これにより、データとモデルのスパース性を引き続き活用しながら、標準の学習フレームワークとアプローチを組み合わせることが可能になります。
While CNNs naturally lend themselves to densely sampled data, and sophisticated implementations are available, they lack the ability to efficiently process sparse data. In this work we introduce a suite of tools that exploit sparsity in both the feature maps and the filter weights, and thereby allow for significantly lower memory footprints and computation times than the conventional dense framework when processing data with a high degree of sparsity. Our scheme provides (i) an efficient GPU implementation of a convolution layer based on direct, sparse convolution; (ii) a filter step within the convolution layer, which we call attention, that prevents fill-in, i.e., the tendency of convolution to rapidly decrease sparsity, and guarantees an upper bound on the computational resources; and (iii) an adaptation of the back-propagation algorithm, which makes it possible to combine our approach with standard learning frameworks, while still exploiting sparsity in the data and the model.
updated: Thu Mar 12 2020 13:44:04 GMT+0000 (UTC)
published: Wed Jan 31 2018 18:12:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト