arXiv reaDer
簡単な算術演算としての顔の交換
Face Swapping as A Simple Arithmetic Operation
「Arithmetic Face Swapping」(AFS) と呼ばれる新しい高忠実度の顔交換方法を提案します。これは、事前トレーニング済み StyleGAN の中間潜在空間 W+ を「アイデンティティ」および「スタイル」部分空間に明示的に解きほぐし、W+ の潜在コードが対応する部分空間の「アイデンティティ」コードと「スタイル」コードの合計。もつれを解くことにより、フェイス スワッピング (FS) は、W+ における単純な算術演算、つまり、ソースの「ID」コードとターゲットの「スタイル」コードの合計と見なすことができます。これにより、AFS は他の FS メソッドよりも直感的で洗練されたものになります。さらに、私たちの方法は、標準のフェイス スワッピングを一般化して、他の興味深い操作をサポートすることができます。潜在コードを「スタイル」コードにマッピングするニューラル ネットワークを学習することにより、アイデンティティ スタイルのもつれの解消を実装します。このネットワークに対して、一連の顔交換操作の後でも元の顔の同一性保持を理論的に保証する条件を提供します。広範な実験により、高品質の交換された顔を生成する際に、最先端の FS メソッドに対するこのメソッドの利点が実証されています。ソースコードは https://github.com/truongvu2000nd/AFS で公開されました
We propose a novel high-fidelity face swapping method called "Arithmetic Face Swapping" (AFS) that explicitly disentangles the intermediate latent space W+ of a pretrained StyleGAN into the "identity" and "style" subspaces so that a latent code in W+ is the sum of an "identity" code and a "style" code in the corresponding subspaces. Via our disentanglement, face swapping (FS) can be regarded as a simple arithmetic operation in W+, i.e., the summation of a source "identity" code and a target "style" code. This makes AFS more intuitive and elegant than other FS methods. In addition, our method can generalize over the standard face swapping to support other interesting operations, e.g., combining the identity of one source with styles of multiple targets and vice versa. We implement our identity-style disentanglement by learning a neural network that maps a latent code to a "style" code. We provide a condition for this network which theoretically guarantees identity preservation of the source face even after a sequence of face swapping operations. Extensive experiments demonstrate the advantage of our method over state-of-the-art FS methods in producing high-quality swapped faces. Our source code was made public at https://github.com/truongvu2000nd/AFS
updated: Fri Feb 03 2023 06:17:27 GMT+0000 (UTC)
published: Sat Nov 19 2022 22:23:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト