arXiv reaDer
Small-GAN: Speeding Up GAN Training Using Core-sets
Brockらによる最近の研究(2018)は、Generative Adversarial Networks(GAN)が大きなミニバッチサイズから不均衡に恩恵を受けることを示唆しています。残念ながら、従来のハードウェアでは大きなバッチを使用すると時間がかかり、費用がかかります。したがって、実際には小さいが効果的には大きいバッチを生成できればいいと思います。この作業では、アクティブラーニングでのCoreset選択の使用に触発されて、これを行う方法を提案します。 GANをトレーニングする場合、以前のサンプルから大量のサンプルを取り出し、Coreset-selectionを使用してそのバッチを圧縮します。実質的に大きな「実際の」画像のバッチを作成するには、各トレーニング画像のInceptionアクティベーションのキャッシュされたデータセットを作成し、それらをより小さな次元にランダムに投影してから、トレーニング時にそれらの投影されたアクティベーションでCoreset選択を使用します。この手法は、最新のGANバリアントのトレーニング時間とメモリ使用量を大幅に削減し、合成データセットのドロップモードの割合を削減し、GANが異常検出の最新技術に到達できることを示す実験を行います。
Recent work by Brock et al. (2018) suggests that Generative Adversarial Networks (GANs) benefit disproportionately from large mini-batch sizes. Unfortunately, using large batches is slow and expensive on conventional hardware. Thus, it would be nice if we could generate batches that were effectively large though actually small. In this work, we propose a method to do this, inspired by the use of Coreset-selection in active learning. When training a GAN, we draw a large batch of samples from the prior and then compress that batch using Coreset-selection. To create effectively large batches of 'real' images, we create a cached dataset of Inception activations of each training image, randomly project them down to a smaller dimension, and then use Coreset-selection on those projected activations at training time. We conduct experiments showing that this technique substantially reduces training time and memory usage for modern GAN variants, that it reduces the fraction of dropped modes in a synthetic dataset, and that it allows GANs to reach a new state of the art in anomaly detection.
updated: Tue Oct 29 2019 21:26:05 GMT+0000 (UTC)
published: Tue Oct 29 2019 21:26:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト