arXiv reaDer
マルチドメイン顔画像翻訳用のゲート付きSwitchGAN
Gated SwitchGAN for multi-domain facial image translation
マルチドメインの顔画像の翻訳に関する最近の研究は、印象的な結果を達成しています。既存の方法は、一般に、ドメイン変換を課すための補助分類器を備えた弁別器を提供します。ただし、これらの方法では、ドメイン分布のマッチングに関する重要な情報が無視されます。この問題を解決するために、より適応性の高い弁別器構造と、複数のドメイン間で繊細な画像変換を実行するための一致したジェネレーターを備えたスイッチ生成敵対的ネットワーク(SwitchGAN)を提案します。条件付きモジュールで特徴選択と融合を実現するために、特徴切り替え操作が提案されています。モデルの有効性を示します。さらに、属性強度制御を表し、調整されたトレーニングなしでコンテンツ情報を抽出するジェネレーターの新機能も導入します。 Morph、RaFD、CelebAデータベースでの実験は、拡張SwitchGAN(つまり、Gated SwitchGAN)がStarGAN、AttGAN、STGANよりも優れた翻訳結果を達成できることを視覚的および定量的に示しています。トレーニング済みのResNet-18モデルを使用して達成された属性分類の精度とImageNetの事前トレーニング済みのInception-v3モデルを使用して取得されたFIDスコアも、モデルの優れたパフォーマンスを定量的に示しています。
Recent studies on multi-domain facial image translation have achieved impressive results. The existing methods generally provide a discriminator with an auxiliary classifier to impose domain translation. However, these methods neglect important information regarding domain distribution matching. To solve this problem, we propose a switch generative adversarial network (SwitchGAN) with a more adaptive discriminator structure and a matched generator to perform delicate image translation among multiple domains. A feature-switching operation is proposed to achieve feature selection and fusion in our conditional modules. We demonstrate the effectiveness of our model. Furthermore, we also introduce a new capability of our generator that represents attribute intensity control and extracts content information without tailored training. Experiments on the Morph, RaFD and CelebA databases visually and quantitatively show that our extended SwitchGAN (i.e., Gated SwitchGAN) can achieve better translation results than StarGAN, AttGAN and STGAN. The attribute classification accuracy achieved using the trained ResNet-18 model and the FID score obtained using the ImageNet pretrained Inception-v3 model also quantitatively demonstrate the superior performance of our models.
updated: Sun Nov 28 2021 10:24:43 GMT+0000 (UTC)
published: Sun Nov 28 2021 10:24:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト