arXiv reaDer
CycleGAN の再考: 対になっていない画像から画像への変換のための GAN の品質の向上
Rethinking CycleGAN: Improving Quality of GANs for Unpaired Image-to-Image Translation
対になっていない画像から画像への (I2I) 変換手法は、完全に教師なしでデータの 2 つのドメイン間のマッピングを見つけようとします。 I2I 問題に対する初期の解決策は生成的敵対的ニューラル ネットワーク (GAN) によって提供されましたが、現在、拡散モデル (DM) は、FID に関して I2I 翻訳ベンチマークで最先端の状態を保持しています。ただし、トレーニング中にソース ドメインのデータを使用しない、単純なピクセル単位のエラーによってのみソース イメージと変換されたイメージの一貫性を維持するなど、いくつかの制限があります。この作業は、従来の CycleGAN モデルを再検討し、モデル アーキテクチャとモデル トレーニング手順の最近の進歩を備えています。改訂されたモデルは、さまざまなベンチマークで他の高度な GAN ベースおよび DM ベースの競合他社よりも大幅に優れていることが示されています。 CelebA の Male2 Female 翻訳の場合、モデルは最先端の結果と比較して FID スコアで 40% 以上の改善を達成します。この作業はまた、ピクセルごとの I2I 変換忠実度メトリックの無効性を示し、その改訂を示唆しています。コードとトレーニング済みモデルは、https://github.com/LS4GAN/uvcgan2 で入手できます。
An unpaired image-to-image (I2I) translation technique seeks to find a mapping between two domains of data in a fully unsupervised manner. While the initial solutions to the I2I problem were provided by the generative adversarial neural networks (GANs), currently, diffusion models (DM) hold the state-of-the-art status on the I2I translation benchmarks in terms of FID. Yet, they suffer from some limitations, such as not using data from the source domain during the training, or maintaining consistency of the source and translated images only via simple pixel-wise errors. This work revisits the classic CycleGAN model and equips it with recent advancements in model architectures and model training procedures. The revised model is shown to significantly outperform other advanced GAN- and DM-based competitors on a variety of benchmarks. In the case of Male2Female translation of CelebA, the model achieves over 40% improvement in FID score compared to the state-of-the-art results. This work also demonstrates the ineffectiveness of the pixel-wise I2I translation faithfulness metrics and suggests their revision. The code and trained models are available at https://github.com/LS4GAN/uvcgan2
updated: Tue Mar 28 2023 19:46:34 GMT+0000 (UTC)
published: Tue Mar 28 2023 19:46:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト