arXiv reaDer
Generative Adversarial Networksの一般化されたワンショットドメイン適応
Generalized One-shot Domain Adaptation of Generative Adversarial Networks
Generative Adversarial Network (GAN) の適応は、事前にトレーニングされた GAN を限られたトレーニング データでターゲット ドメインに転送することを目的としています。このホワイトペーパーでは、以前の研究ではほとんど調査されておらず、より困難なワンショットケースに焦点を当てています。ソース ドメインからターゲット ドメインへの適応は、テクスチャや色などのグローバル スタイルの移行と、ソース ドメインに属さない新しいエンティティの出現の 2 つの部分に分離できると考えています。以前の研究は主にスタイル転送に焦点を当てていましたが、参照画像とそのバイナリエンティティマスクが提供される、スタイルとエンティティ転送の両方の一般化されたワンショット適応タスクに対処するための斬新で簡潔なフレームワークを提案します。私たちの核となるアイデアは、スライスされたワッサースタイン距離によって参照と合成の内部分布の間のギャップを制約することです。それをよりよく達成するために、最初にスタイル固定を使用して模範的なスタイルを大まかに取得し、補助ネットワークをジェネレーターに導入してエンティティとスタイルの転送を解きほぐします。さらに、クロスドメイン対応を実現するために、変分ラプラシアン正則化を提案して、適応ジェネレーターの滑らかさを制限します。定量的および定性的な実験の両方で、さまざまなシナリオでの方法の有効性が実証されています。コードは https://github.com/zhangzc21/Generalized-One-shot-GAN-adaptation で入手できます。
The adaptation of a Generative Adversarial Network (GAN) aims to transfer a pre-trained GAN to a target domain with limited training data. In this paper, we focus on the one-shot case, which is more challenging and rarely explored in previous works. We consider that the adaptation from a source domain to a target domain can be decoupled into two parts: the transfer of global style like texture and color, and the emergence of new entities that do not belong to the source domain. While previous works mainly focus on style transfer, we propose a novel and concise framework to address the generalized one-shot adaptation task for both style and entity transfer, in which a reference image and its binary entity mask are provided. Our core idea is to constrain the gap between the internal distributions of the reference and syntheses by sliced Wasserstein distance. To better achieve it, style fixation is used at first to roughly obtain the exemplary style, and an auxiliary network is introduced to the generator to disentangle entity and style transfer. Besides, to realize cross-domain correspondence, we propose the variational Laplacian regularization to constrain the smoothness of the adapted generator. Both quantitative and qualitative experiments demonstrate the effectiveness of our method in various scenarios. Code is available at https://github.com/zhangzc21/Generalized-One-shot-GAN-adaptation.
updated: Fri Oct 14 2022 03:05:20 GMT+0000 (UTC)
published: Thu Sep 08 2022 09:24:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト