arXiv reaDer
PBGen: Partial Binarization of Deconvolution-Based Generators for Edge Intelligence
 この作業では、メモリの節約と画像構築の高速化のために、GANのデコンボリューションベースのジェネレーターの2値化について説明します。私たちの研究は、すべての層を二値化できるたたみ込みニューラルネットワーク(弁別器を含む)とは異なり、発電機の一部の層のみが大幅な性能低下なしに二値化できることを示唆しています。理論的分析によってサポートされ、実験によって検証された、デコンボリューション操作の次元に基づく直接的なメトリックが確立され、これを使用して、ジェネレーターのどのレイヤーを二値化できるかを迅速に決定できます。また、私たちの結果は、バランスの取れた競争とより良いパフォーマンスのために、ジェネレータとディスクリミネータの両方を同時に二値化する必要があることを示しています。 CelebAに基づく実験結果は、最先端の2値化技術をジェネレーターのすべてのレイヤーに直接適用すると、選択したレイヤーにのみ適用しながら、元のジェネレーターと比較してスライスワッサーシュタイン距離で測定したパフォーマンスの2.83倍になることを示唆していますメモリ消費量を最大25.81倍節約し、推論とトレーニングでそれぞれ1.96倍と1.32倍の高速化を実現し、パフォーマンスをほとんど低下させません。
This work explores the binarization of the deconvolution-based generator in a GAN for memory saving and speedup of image construction. Our study suggests that different from convolutional neural networks (including the discriminator) where all layers can be binarized, only some of the layers in the generator can be binarized without significant performance loss. Supported by theoretical analysis and verified by experiments, a direct metric based on the dimension of deconvolution operations is established, which can be used to quickly decide which layers in the generator can be binarized. Our results also indicate that both the generator and the discriminator should be binarized simultaneously for balanced competition and better performance. Experimental results based on CelebA suggest that directly applying state-of-the-art binarization techniques to all the layers of the generator will lead to 2.83× performance loss measured by sliced Wasserstein distance compared with the original generator, while applying them to selected layers only can yield up to 25.81× saving in memory consumption, and 1.96× and 1.32× speedup in inference and training respectively with little performance loss.
updated: Mon Jan 27 2020 04:15:55 GMT+0000 (UTC)
published: Mon Feb 26 2018 03:50:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト