arXiv reaDer
クラスまたは連続変数の条件付けを使用した、条件付きGANの効率的な密度比ガイド付きサブサンプリング
Efficient Density Ratio-Guided Subsampling of Conditional GANs, With Conditioning on a Class or a Continuous Variable
最近、無条件の生成的敵対的ネットワーク(GAN)から生成された画像のサブサンプリングまたはリファインが、全体的な画質を向上させるために積極的に研究されています。残念ながら、これらのメソッドは、条件付きGAN(cGAN)の処理(クラス条件付きGANとも呼ばれます)または連続変数(連続cGANまたはCcGANとも呼ばれます)の処理において、効果的または非効率的であることがよくあります。この作業では、cGANから高品質の画像をサンプリングするために、条件付き密度比誘導棄却サンプリング(cDR-RS)と呼ばれる効果的かつ効率的なサブサンプリングスキームを紹介します。具体的には、まず、条件付きSoftplus(cSP)損失と改善された特徴抽出メカニズムを提案することにより、cDRE-F-cSPと呼ばれる新しい条件付き密度比推定方法を開発します。次に、cSP損失でトレーニングされた密度比モデルの誤差限界を導き出します。最後に、推定された条件付き密度比の観点から、偽の画像を受け入れるか拒否します。 CcGANからサンプリングするときに多様性を失うことなく、偽の画像のラベルの一貫性を高めるためのフィルタリングスキームも開発されています。 5つのベンチマークデータセットでクラス条件付きGANとCcGANの両方からサンプリングする際に、cDR-RSの有効性と効率を広範囲にテストします。クラス条件付きGANからサンプリングする場合、cDR-RSは、有効性の点で最新の方法よりも大幅に優れています(DRE-F-SP + RSを除く)。 cDR-RSの有効性はDRE-F-SP + RSの有効性に匹敵することがよくありますが、cDR-RSの方が大幅に効率的です。 CcGANからサンプリングする場合、cDR-RSの優位性は、有効性と効率の両方の点でさらに顕著です。特に、合理的な計算リソースを消費することで、cDR-RSは、CcGANで生成された画像の多様性を低下させることなく、ラベルスコアを大幅に低下させることができますが、他の方法では、ラベルスコアをわずかに改善するために多くの多様性を交換する必要があります。
Recently, subsampling or refining images generated from unconditional generative adversarial networks (GANs) has been actively studied to improve the overall image quality. Unfortunately, these methods are often observed less effective or inefficient in handling conditional GANs (cGANs) -- conditioning on a class (aka class-conditional GANs) or a continuous variable (aka continuous cGANs or CcGANs). In this work, we introduce an effective and efficient subsampling scheme, named conditional density ratio-guided rejection sampling (cDR-RS), to sample high-quality images from cGANs. Specifically, we first develop a novel conditional density ratio estimation method, termed cDRE-F-cSP, by proposing the conditional Softplus (cSP) loss and an improved feature extraction mechanism. We then derive the error bound of a density ratio model trained with the cSP loss. Finally, we accept or reject a fake image in terms of its estimated conditional density ratio. A filtering scheme is also developed to increase fake images' label consistency without losing diversity when sampling from CcGANs. We extensively test the effectiveness and efficiency of cDR-RS in sampling from both class-conditional GANs and CcGANs on five benchmark datasets. When sampling from class-conditional GANs, cDR-RS outperforms modern state-of-the-art methods by a large margin (except DRE-F-SP+RS) in terms of effectiveness. Although the effectiveness of cDR-RS is often comparable to that of DRE-F-SP+RS, cDR-RS is substantially more efficient. When sampling from CcGANs, the superiority of cDR-RS is even more noticeable in terms of both effectiveness and efficiency. Notably, with the consumption of reasonable computational resources, cDR-RS can substantially reduce Label Score without decreasing the diversity of CcGAN-generated images, while other methods often need to trade much diversity for slightly improved Label Score.
updated: Mon Nov 15 2021 12:41:14 GMT+0000 (UTC)
published: Sat Mar 20 2021 12:19:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト