arXiv reaDer
局所性鋭敏型ハッシュを使用したGANのトレーニング後の圧縮の評価
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
トレーニング後、つまり微調整なしの生成的敵対的ネットワーク(GAN)での圧縮効果の分析は、重要ではありますが、計算とメモリ要件の増加傾向にある未研究のトピックのままです。既存の研究では、トレーニング中にGANを圧縮することの難しさについて説明しており、GANトレーニングの不安定性を念頭に置いて設計された新しい方法が必要ですが、既存の圧縮方法(つまり、クリッピングと量子化)を、トレーニング後のGANの圧縮に直接適用できることを示しています。追加の変更。高い圧縮レベルは、生成されたセットを歪める可能性があり、外れ値の増加につながる可能性があり、既存のk最近傍(KNN)ベースのメトリックの全体的な評価に悪影響を与える可能性があります。局所性鋭敏型ハッシュ(LSH)に基づく2つの新しい適合率と再現率の指標を提案します。これにより、外れ値のロバスト性が向上するだけでなく、O(n)からO(log( n))、LSHとKNNを使用する場合、およびLSHのみを適用する場合はO(1)に。複数のデータセットで事前にトレーニングされたいくつかのGANの低ビット圧縮は、適合率と再現率の間のトレードオフを引き起こし、サンプルの多様性を犠牲にしながらサンプルの品質を維持することを示します。
The analysis of the compression effects in generative adversarial networks (GANs) after training, i.e. without any fine-tuning, remains an unstudied, albeit important, topic with the increasing trend of their computation and memory requirements. While existing works discuss the difficulty of compressing GANs during training, requiring novel methods designed with the instability of GANs training in mind, we show that existing compression methods (namely clipping and quantization) may be directly applied to compress GANs post-training, without any additional changes. High compression levels may distort the generated set, likely leading to an increase of outliers that may negatively affect the overall assessment of existing k-nearest neighbor (KNN) based metrics. We propose two new precision and recall metrics based on locality-sensitive hashing (LSH), which, on top of increasing the outlier robustness, decrease the complexity of assessing an evaluation sample against n reference samples from O(n) to O(log(n)), if using LSH and KNN, and to O(1), if only applying LSH. We show that low-bit compression of several pre-trained GANs on multiple datasets induces a trade-off between precision and recall, retaining sample quality while sacrificing sample diversity.
updated: Mon Mar 22 2021 14:55:24 GMT+0000 (UTC)
published: Mon Mar 22 2021 14:55:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト