arXiv reaDer
相互情報量の推定と最大化によるマルチモーダル画像から画像への変換
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
マルチモーダル画像から画像への変換(I2IT)は、ソースドメインの入力画像が与えられた場合に、ターゲットドメインの複数の可能な画像を探索する条件付き分布を学習することを目的としています。条件付き生成敵対的ネットワーク(cGAN)は、このような条件付き分布をモデル化するためによく採用されます。ただし、cGANは潜在的なコードを無視し、条件付き画像合成で単峰性の分布を学習する傾向があります。これは、GANのモード崩壊の問題としても知られています。この問題を解決するために、本論文では、深い相互情報量神経推定器を使用して、潜在コードとcGANの出力画像との間の相互情報量を明示的に推定して最大化するシンプルで効果的な方法を提案します。相互情報量を最大化すると、潜在コードと出力画像の間の統計的依存関係が強化され、ジェネレータが潜在コードを無視するのを防ぎ、cGANが潜在コードを十分に活用して多様な結果を合成するように促します。私たちの方法は、I2ITの多様性を改善するための情報理論からの新しい視点を提供するだけでなく、ソースドメインコンテンツとターゲットドメインスタイルの間のもつれを無料で実現します。
Multimodal image-to-image translation (I2IT) aims to learn a conditional distribution that explores multiple possible images in the target domain given an input image in the source domain. Conditional generative adversarial networks (cGANs) are often adopted for modeling such a conditional distribution. However, cGANs are prone to ignore the latent code and learn a unimodal distribution in conditional image synthesis, which is also known as the mode collapse issue of GANs. To solve the problem, we propose a simple yet effective method that explicitly estimates and maximizes the mutual information between the latent code and the output image in cGANs by using a deep mutual information neural estimator in this paper. Maximizing the mutual information strengthens the statistical dependency between the latent code and the output image, which prevents the generator from ignoring the latent code and encourages cGANs to fully utilize the latent code for synthesizing diverse results. Our method not only provides a new perspective from information theory to improve diversity for I2IT but also achieves disentanglement between the source domain content and the target domain style for free.
updated: Sat May 08 2021 14:15:56 GMT+0000 (UTC)
published: Sat Aug 08 2020 14:09:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト