arXiv reaDer
Generative Adversarial Networksの一般化されたワンショットドメイン適応
Generalized One-shot Domain Adaption of Generative Adversarial Networks
Generative Adversarial Network (GAN) の適応は、事前にトレーニングされた GAN を限られたトレーニング データを使用して特定のドメインに転送することを目的としています。このホワイトペーパーでは、以前の研究ではほとんど調査されておらず、より困難なワンショットケースに焦点を当てています。ソース ドメインからターゲット ドメインへの適応は、テクスチャや色などのグローバル スタイルの移行と、ソース ドメインに属さない新しいエンティティの出現の 2 つの部分に分離できると考えています。以前の作品は主にスタイル転送に焦点を当てていましたが、スタイルとエンティティ転送の両方の一般化されたワンショット適応タスクに対処するために、斬新で簡潔なフレームワークhttps://github.com/thevoidname/Generalized-One-shot-GAN-Adaptionを提案します参照イメージとそのバイナリ エンティティ マスクが提供されます。私たちの主な目的は、スライスされたワッサースタイン距離によって参照と合成の内部分布間のギャップを制限することです。それをよりよく達成するために、最初にスタイル固定を使用して模範的なスタイルを大まかに取得し、元のジェネレーターに補助ネットワークを導入してエンティティとスタイルの転送を解きほぐします。さらに、クロスドメイン対応を実現するために、変分ラプラシアン正則化を提案して、適応ジェネレーターの滑らかさを制限します。定量的および定性的な実験の両方で、さまざまなシナリオでの方法の有効性が実証されています。
The adaption of Generative Adversarial Network (GAN) aims to transfer a pre-trained GAN to a given domain with limited training data. In this paper, we focus on the one-shot case, which is more challenging and rarely explored in previous works. We consider that the adaptation from source domain to target domain can be decoupled into two parts: the transfer of global style like texture and color, and the emergence of new entities that do not belong to the source domain. While previous works mainly focus on the style transfer, we propose a novel and concise frameworkhttps://github.com/thevoidname/Generalized-One-shot-GAN-Adaption to address the generalized one-shot adaption task for both style and entity transfer, in which a reference image and its binary entity mask are provided. Our core objective is to constrain the gap between the internal distributions of the reference and syntheses by sliced Wasserstein distance. To better achieve it, style fixation is used at first to roughly obtain the exemplary style, and an auxiliary network is introduced to the original generator to disentangle entity and style transfer. Besides, to realize cross-domain correspondence, we propose the variational Laplacian regularization to constrain the smoothness of the adapted generator. Both quantitative and qualitative experiments demonstrate the effectiveness of our method in various scenarios.
updated: Thu Sep 08 2022 09:24:44 GMT+0000 (UTC)
published: Thu Sep 08 2022 09:24:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト