画像から画像への変換は、生成的敵対的ネットワーク(GAN)を使用して、あるドメインから別のドメインに画像を変換する最近の傾向です。既存のGANモデルは、変換の入力モダリティと出力モダリティのみを利用してトレーニングを実行します。この論文では、GANモデルのセマンティックインジェクショントレーニングを実行します。具体的には、元の入力および出力モダリティでトレーニングし、入力からセマンティックマップへの変換のためにトレーニングのいくつかのエポックを注入します。元のトレーニングを、入力画像をターゲットドメインに変換するためのトレーニングと呼びましょう。元のトレーニングにセマンティックトレーニングを挿入すると、トレーニングされたGANモデルの一般化機能が向上します。さらに、生成された画像にカテゴリ情報をより適切に保存します。セマンティックマップはトレーニング時にのみ使用され、テスト時には必要ありません。実験は、CityScapesおよびRGB-NIRステレオデータセット上の最先端のGANモデルを使用して実行されます。セマンティックトレーニングを注入した後、元のトレーニングと比較して、SSIM、FID、およびKIDスコアの点でパフォーマンスが向上していることがわかります。
Image-to-image translation is the recent trend to transform images from one domain to another domain using generative adversarial network (GAN). The existing GAN models perform the training by only utilizing the input and output modalities of transformation. In this paper, we perform the semantic injected training of GAN models. Specifically, we train with original input and output modalities and inject a few epochs of training for translation from input to semantic map. Lets refer the original training as the training for the translation of input image into target domain. The injection of semantic training in the original training improves the generalization capability of the trained GAN model. Moreover, it also preserves the categorical information in a better way in the generated image. The semantic map is only utilized at the training time and is not required at the test time. The experiments are performed using state-of-the-art GAN models over CityScapes and RGB-NIR stereo datasets. We observe the improved performance in terms of the SSIM, FID and KID scores after injecting semantic training as compared to original training.