arXiv reaDer
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
画像から画像への変換モデルは、異なるドメイン間で画像を転送する際の優れた能力を示しています。既存の作業のほとんどは、ソースドメインとターゲットドメインがトレーニングフェーズと推論フェーズで同じに保たれるという設定に従います。これは、画像を非表示ドメインから別の非表示ドメインに変換するシナリオに一般化することはできません。この作業では、教師なしゼロショット画像から画像への変換(UZSIT)問題を提案します。これは、トレーニング中に観察されない画像ドメインからサンプルを変換できるモデルを学習することを目的としています。したがって、ZstGANと呼ばれるフレームワークを提案します。敵対的なトレーニングスキームを導入することにより、ZstGANは、ビジョンと属性モダリティで意味的に一貫しているドメイン固有の機能分布を使用して各ドメインをモデル化することを学習します。次に、ドメイン不変の機能は、画像生成用の共有エンコーダーで解きほぐされます。 CUBおよびFLOデータセットで広範な実験を実施し、その結果は、UZSITタスクで提案された方法の有効性を示しています。さらに、ZstGANは、CUBおよびFLOでの最先端のゼロショット学習方法に比べて大幅な精度の向上を示しています。
Image-to-image translation models have shown remarkable ability on transferring images among different domains. Most of existing work follows the setting that the source domain and target domain keep the same at training and inference phases, which cannot be generalized to the scenarios for translating an image from an unseen domain to another unseen domain. In this work, we propose the Unsupervised Zero-Shot Image-to-image Translation (UZSIT) problem, which aims to learn a model that can translate samples from image domains that are not observed during training. Accordingly, we propose a framework called ZstGAN: By introducing an adversarial training scheme, ZstGAN learns to model each domain with domain-specific feature distribution that is semantically consistent on vision and attribute modalities. Then the domain-invariant features are disentangled with an shared encoder for image generation. We carry out extensive experiments on CUB and FLO datasets, and the results demonstrate the effectiveness of proposed method on UZSIT task. Moreover, ZstGAN shows significant accuracy improvements over state-of-the-art zero-shot learning methods on CUB and FLO.
updated: Tue Jul 20 2021 05:05:04 GMT+0000 (UTC)
published: Sat Jun 01 2019 08:43:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト