arXiv reaDer
変更されていないディープラーニングプロセッサでの生成ニューラルネットワークの高速化-ソフトウェアアプローチ
Accelerating Generative Neural Networks on Unmodified Deep Learning Processors -- A Software Approach
 生成ニューラルネットワークはニューラルネットワークの新しいカテゴリであり、コンテンツ生成、教師なし学習、セグメンテーション、ポーズ推定などのアプリケーションで広く利用されています。通常、これには、従来のニューラルネットワークプロセッサに直接適合させることができない、大量のコンピューティング集約型のデコンボリューション操作が含まれます。ただし、これまでの研究では、畳み込みとともにデコンボリューションを加速するために、既存のディープラーニングプロセッサにハードウェアを集中的に変更することにより、主に特殊なハードウェアアーキテクチャを調査していました。対照的に、この作業は、ソフトウェアアプローチによる新しいデコンボリューションの実装を提案し、レガシーディープラーニングプロセッサで高速かつ効率的なデコンボリューションの実行を可能にします。私たちの提案する方法は、デコンボリューションの計算を再編成し、ディープラーニングプロセッサが元のデコンボリューションフィルターを複数の小さなフィルターに分割することにより、標準のコンボリューションとして処理できるようにします。以前の加速スキームと比較して、実装された加速スキームは、2.41x-4.34xのパフォーマンスの高速化を実現し、一連の現実的なベンチマークでエネルギー消費を27.7%-54.5%削減します。さらに、市販のディープラーニングプロセッサにもデコンボリューションコンピューティングアプローチを適用しました。デコンボリューションのパフォーマンスは、以前のデコンボリューションの実装よりも大幅にパフォーマンスが向上しています。
Generative neural network is a new category of neural networks and it has been widely utilized in applications such as content generation, unsupervised learning, segmentation and pose estimation. It typically involves massive computing-intensive deconvolution operations that cannot be fitted to conventional neural network processors directly. However, prior works mainly investigated specialized hardware architectures through intensive hardware modifications to the existing deep learning processors to accelerate deconvolution together with the convolution. In contrast, this work proposes a novel deconvolution implementation with a software approach and enables fast and efficient deconvolution execution on the legacy deep learning processors. Our proposed method reorganizes the computation of deconvolution and allows the deep learning processors to treat it as the standard convolution by splitting the original deconvolution filters into multiple small filters. Compared to prior acceleration schemes, the implemented acceleration scheme achieves 2.41x - 4.34x performance speedup and reduces the energy consumption by 27.7% - 54.5% on a set of realistic benchmarks. In addition, we also applied the deconvolution computing approach to the off-the-shelf commodity deep learning processors. The performance of deconvolution also exhibits significant performance speedup over prior deconvolution implementations.
updated: Wed Apr 29 2020 02:50:01 GMT+0000 (UTC)
published: Wed Jul 03 2019 07:18:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト