arXiv reaDer
マスク識別による少数ショット画像生成
Few-shot Image Generation via Masked Discrimination
少数ショット画像生成は、限られたデータで高品質で多様性の高い画像を生成することを目的としています。ただし、最新の GAN が少数の画像のみでトレーニングされている場合、オーバーフィッティングを回避することは困難です。ディスクリミネーターはすべてのトレーニング サンプルを簡単に記憶し、ジェネレーターがそれらを複製するように導くことができるため、深刻な多様性の低下につながります。限られた実際のサンプルを使用して、大規模なソース ドメインで事前トレーニングされた GAN をターゲット ドメインに適応させることにより、オーバーフィッティングを緩和するいくつかの方法が提案されています。この作品は、マスクされた識別を介して少数ショット GAN 適応を実現するための新しいアプローチを提示します。ランダム マスクは、入力画像からディスクリミネータによって抽出された特徴に適用されます。識別器が、トレーニング サンプルと部分的に共通する特徴を共有するさまざまな画像を現実的であると判断できるようにすることを目的としています。それに応じて、ジェネレーターは、トレーニング サンプルを複製する代わりに、さまざまな画像を生成するように誘導されます。さらに、特徴空間で生成されたサンプル間の相対距離を維持するために、識別器にクロスドメイン一貫性損失を採用しています。グローバルな画像識別を強化し、適応されたGANをガイドして、ソースドメインから学習したより多くの情報を保存して、より高い画像品質を実現します。私たちのアプローチの有効性は、従来の方法よりも一連の少数ショットの画像生成タスクで高品質と多様性を備えた定性的および定量的に実証されています。
Few-shot image generation aims to generate images of high quality and great diversity with limited data. However, it is difficult for modern GANs to avoid overfitting when trained on only a few images. The discriminator can easily remember all the training samples and guide the generator to replicate them, leading to severe diversity degradation. Several methods have been proposed to relieve overfitting by adapting GANs pre-trained on large source domains to target domains using limited real samples. This work presents a novel approach to realize few-shot GAN adaptation via masked discrimination. Random masks are applied to features extracted by the discriminator from input images. We aim to encourage the discriminator to judge various images which share partially common features with training samples as realistic. Correspondingly, the generator is guided to generate diverse images instead of replicating training samples. In addition, we employ a cross-domain consistency loss for the discriminator to keep relative distances between generated samples in its feature space. It strengthens global image discrimination and guides adapted GANs to preserve more information learned from source domains for higher image quality. The effectiveness of our approach is demonstrated both qualitatively and quantitatively with higher quality and greater diversity on a series of few-shot image generation tasks than prior methods.
updated: Tue Mar 07 2023 06:03:38 GMT+0000 (UTC)
published: Thu Oct 27 2022 06:02:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト