arXiv reaDer
クラスまたは連続変数を条件とするGANからの現実的な画像の効率的なサブサンプリング
Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable
最近、無条件のGANから生成された画像のサブサンプリングまたはリファインが、全体的な画質を向上させるために積極的に研究されています。残念ながら、これらのメソッドは、条件付きGAN(cGAN)、つまりクラス(別名クラス条件付きGAN)または連続変数(別名連続cGANまたはCcGAN)の処理において、効果が低いか非効率であることがよくあります。この作業では、cGANから高品質の画像をサンプリングするために、条件付き密度比誘導棄却サンプリング(cDR-RS)と呼ばれる効果的かつ効率的なサブサンプリングスキームを紹介します。具体的には、まず、条件付きSoftplus(cSP)損失と改良された特徴抽出メカニズムを提案することにより、cDRE-F-cSPと呼ばれる新しい条件付き密度比推定法を開発します。次に、cSP損失でトレーニングされた密度比モデルの誤差限界を導き出します。最後に、推定された条件付き密度比の観点から、偽の画像を受け入れるか拒否します。 CcGANからサンプリングするときに多様性を失うことなく、偽の画像のラベルの一貫性を高めるためのフィルタリングスキームも開発されています。 5つのベンチマークデータセットでクラス条件付きGANとCcGANの両方からサンプリングする際のcDR-RSの有効性と効率を広範囲にテストします。クラス条件付きGANからサンプリングする場合、cDR-RSは、有効性の点で最新の方法よりも大幅に優れています(DRE-F-SP + RSを除く)。 cDR-RSの有効性はDRE-F-SP+RSの有効性に匹敵することがよくありますが、cDR-RSの方が大幅に効率的です。 CcGANからサンプリングする場合、cDR-RSの優位性は、有効性と効率の両方の点でさらに顕著です。特に、合理的な計算リソースを消費することで、cDR-RSはCcGANで生成された画像の多様性を減らすことなく、ラベルスコアを大幅に減らすことができますが、他の方法では、ラベルスコアをわずかに改善するために多くの多様性を交換する必要があります。
Recently, subsampling or refining images generated from unconditional GANs has been actively studied to improve the overall image quality. Unfortunately, these methods are often observed less effective or inefficient in handling conditional GANs (cGANs) -- conditioning on a class (aka class-conditional GANs) or a continuous variable (aka continuous cGANs or CcGANs). In this work, we introduce an effective and efficient subsampling scheme, named conditional density ratio-guided rejection sampling (cDR-RS), to sample high-quality images from cGANs. Specifically, we first develop a novel conditional density ratio estimation method, termed cDRE-F-cSP, by proposing the conditional Softplus (cSP) loss and an improved feature extraction mechanism. We then derive the error bound of a density ratio model trained with the cSP loss. Finally, we accept or reject a fake image in terms of its estimated conditional density ratio. A filtering scheme is also developed to increase fake images' label consistency without losing diversity when sampling from CcGANs. We extensively test the effectiveness and efficiency of cDR-RS in sampling from both class-conditional GANs and CcGANs on five benchmark datasets. When sampling from class-conditional GANs, cDR-RS outperforms modern state-of-the-art methods by a large margin (except DRE-F-SP+RS) in terms of effectiveness. Although the effectiveness of cDR-RS is often comparable to that of DRE-F-SP+RS, cDR-RS is substantially more efficient. When sampling from CcGANs, the superiority of cDR-RS is even more noticeable in terms of both effectiveness and efficiency. Notably, with the consumption of reasonable computational resources, cDR-RS can substantially reduce Label Score without decreasing the diversity of CcGAN-generated images, while other methods often need to trade much diversity for slightly improved Label Score.
updated: Wed Apr 20 2022 15:36:36 GMT+0000 (UTC)
published: Sat Mar 20 2021 12:19:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト