人間の顔、手、体、自然のシーンを生成するための、斬新で統一されたCycle in Cycle Generative Adversarial Network(C2GAN)を提案します。私たちが提案するC2GANは、入力画像データとガイダンスデータの共同活用をインタラクティブに探求するクロスモーダルモデルです。 C2GANには、画像生成ジェネレータとガイダンス生成ジェネレータの2つの異なるジェネレータが含まれています。両方のジェネレーターは相互に接続され、エンドツーエンドでトレーニングされ、3つのサイクルサブネット、つまり1つの画像生成サイクルと2つのガイダンス生成サイクルを明示的に形成します。各サイクルは、入力ドメインを再構築することを目的とし、同時に別のサイクルの生成に関係する有用な出力を生成します。このように、サイクルは互いに制約し合い、画像とガイダンスの両方のモダリティから補完的な情報を暗黙的に提供し、サイクル全体に追加の監視勾配をもたらし、モデル全体のより堅牢な最適化を促進します。 4つのガイド付き画像から画像への変換サブタスクに関する広範な結果は、提案されたC2GANが最先端のモデルと比較してより現実的な画像を生成するのに効果的であることを示しています。コードはhttps://github.com/Ha0Tang/C2GANで入手できます。
We propose a novel and unified Cycle in Cycle Generative Adversarial Network (C2GAN) for generating human faces, hands, bodies, and natural scenes. Our proposed C2GAN is a cross-modal model exploring the joint exploitation of the input image data and guidance data in an interactive manner. C2GAN contains two different generators, i.e., an image-generation generator and a guidance-generation generator. Both generators are mutually connected and trained in an end-to-end fashion and explicitly form three cycled subnets, i.e., one image generation cycle and two guidance generation cycles. Each cycle aims at reconstructing the input domain and simultaneously produces a useful output involved in the generation of another cycle. In this way, the cycles constrain each other implicitly providing complementary information from both image and guidance modalities and bringing an extra supervision gradient across the cycles, facilitating a more robust optimization of the whole model. Extensive results on four guided image-to-image translation subtasks demonstrate that the proposed C2GAN is effective in generating more realistic images compared with state-of-the-art models. The code is available at https://github.com/Ha0Tang/C2GAN.