arXiv reaDer
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
サイクルコンシステントGANなどのジェネレーティブアドバサリネットワーク(GAN)に基づいて構築された最近の手法では、ジェネレーターと弁別子の間のmin-max最適化ゲームを通じて、ペアになっていないデータセットから構築された異なるドメイン間のマッピングを学習できます。ただし、トレーニングプロセスを安定させることは依然として困難であり、したがって、循環モデルは、弁別器の成功を伴うモード崩壊に陥ります。この問題に対処するために、ドメイン間のマッピングのための新しいベイズ循環モデルと統合循環フレームワークを提案します。ベイジアンGANによって動機付けられた提案された方法は、潜在変数のサンプリングを介して循環モデルの完全な事後を探索し、最大事後(MAP)推定でモデルを最適化します。したがって、これをBayesian CycleGANと名付けます。さらに、元のCycleGANは多様な結果を生成できません。しかし、ベイズフレームワークが推論プロセスで制限された潜在変数を置き換えることにより、生成された画像を多様化することは現実的です。 Cityscapes、Maps、Monet2photoなどの複数のベンチマークデータセットで、提案されたBayesian CycleGANを評価します。提案された方法は、起点フレームワーク内のCityscapesセマンティックセグメンテーションタスクのピクセルごとの精度を15%改善し、提案された統合フレームワーク内で20%改善し、不均衡な対立に対するより優れた回復力を示します。 Monet2Photoスタイルの転送の多様な結果も、元の循環モデルよりも優れていることを示しています。すべての実験のコードはで提供しています。
Recent techniques built on Generative Adversarial Networks (GANs), such as Cycle-Consistent GANs, are able to learn mappings among different domains built from unpaired datasets, through min-max optimization games between generators and discriminators. However, it remains challenging to stabilize the training process and thus cyclic models fall into mode collapse accompanied by the success of discriminator. To address this problem, we propose an novel Bayesian cyclic model and an integrated cyclic framework for inter-domain mappings. The proposed method motivated by Bayesian GAN explores the full posteriors of cyclic model via sampling latent variables and optimizes the model with maximum a posteriori (MAP) estimation. Hence, we name it Bayesian CycleGAN. In addition, original CycleGAN cannot generate diversified results. But it is feasible for Bayesian framework to diversify generated images by replacing restricted latent variables in inference process. We evaluate the proposed Bayesian CycleGAN on multiple benchmark datasets, including Cityscapes, Maps, and Monet2photo. The proposed method improve the per-pixel accuracy by 15% for the Cityscapes semantic segmentation task within origin framework and improve 20% within the proposed integrated framework, showing better resilience to imbalance confrontation. The diversified results of Monet2Photo style transfer also demonstrate its superiority over original cyclic model. We provide codes for all of our experiments in
updated: Sun Aug 16 2020 19:38:06 GMT+0000 (UTC)
published: Mon Nov 19 2018 02:22:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト