arXiv reaDer
微分可能なマスクと共注意蒸留による画像翻訳のための効率的なGANの学習
Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation
生成的敵対的ネットワーク(GAN)は画像変換で広く使用されていますが、計算とストレージのコストが高いため、モバイルデバイスへの展開が妨げられています。 CNN圧縮の一般的な方法は、GANタスクの特殊性と不安定な敵対的トレーニングのため、GANに直接適用することはできません。これらを解決するために、この論文では、微分可能マスクと共注意蒸留を提案することにより、DMADと呼ばれる新しいGAN圧縮方法を紹介します。前者は、トレーニングに適応した方法で軽量の発電機アーキテクチャを検索します。残りの接続をプルーニングするときのチャネルの不整合を克服するために、適応型クロスブロックグループスパース性がさらに組み込まれています。後者は、事前にトレーニングされたモデルのジェネレーターとディスクリミネーターの両方から検索されたジェネレーターに有益な注意マップを同時に抽出し、軽量モデルの敵対的トレーニングを効果的に安定させます。実験によると、DMADは、フルモデルと同等のパフォーマンスを維持しながら、CycleGANの積和演算(MAC)を13倍、Pix2Pixの積和演算(MAC)を4倍削減できます。私たちのコードはhttps://github.com/SJLeo/DMADで入手できます。
Generative Adversarial Networks (GANs) have been widely-used in image translation, but their high computation and storage costs impede the deployment on mobile devices. Prevalent methods for CNN compression cannot be directly applied to GANs due to the peculiarties of GAN tasks and the unstable adversarial training. To solve these, in this paper, we introduce a novel GAN compression method, termed DMAD, by proposing a Differentiable Mask and a co-Attention Distillation. The former searches for a light-weight generator architecture in a training-adaptive manner. To overcome channel inconsistency when pruning the residual connections, an adaptive cross-block group sparsity is further incorporated. The latter simultaneously distills informative attention maps from both the generator and discriminator of a pre-trained model to the searched generator, effectively stabilizing the adversarial training of our light-weight model. Experiments show that DMAD can reduce the Multiply Accumulate Operations (MACs) of CycleGAN by 13x and that of Pix2Pix by 4x while retaining a comparable performance against the full model. Our code can be available at https://github.com/SJLeo/DMAD.
updated: Wed Mar 02 2022 09:17:14 GMT+0000 (UTC)
published: Tue Nov 17 2020 02:39:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト