arXiv reaDer
ShapeEditer:フェイススワッピング用のStyleGANエンコーダー
ShapeEditer: a StyleGAN Encoder for Face Swapping
この論文では、高解像度、現実的、高忠実度の顔交換のために、ShapeEditorと呼ばれる新しいエンコーダを提案します。まず、十分な明快さと信頼性を確保するために、私たちの重要なアイデアは、高度な事前トレーニング済みの高品質ランダム顔画像ジェネレーター、つまりStyleGANをバックボーンとして使用することです。次に、2段階のエンコーダであるShapeEditorを設計して、スワップされた面に入力面のIDと属性を統合させます。最初のステップでは、ソース画像のIDベクトルとターゲット画像の属性ベクトルをそれぞれ抽出します。 2番目のステップでは、単位元ベクトルと属性ベクトルの連結をW +ポテンシャル空間にマッピングします。さらに、StyleGANの潜在空間へのマッピングを学習するために、トレーニングデータに手動でラベルを付ける必要のない自己教師あり損失関数のセットを提案します。テストデータセットでの広範な実験は、私たちの方法の結果が他の最先端の方法よりも明快さと信頼性において大きな利点を持っているだけでなく、アイデンティティと属性の十分な統合を反映していることを示しています。
In this paper, we propose a novel encoder, called ShapeEditor, for high-resolution, realistic and high-fidelity face exchange. First of all, in order to ensure sufficient clarity and authenticity, our key idea is to use an advanced pretrained high-quality random face image generator, i.e. StyleGAN, as backbone. Secondly, we design ShapeEditor, a two-step encoder, to make the swapped face integrate the identity and attribute of the input faces. In the first step, we extract the identity vector of the source image and the attribute vector of the target image respectively; in the second step, we map the concatenation of identity vector and attribute vector into the W+ potential space. In addition, for learning to map into the latent space of StyleGAN, we propose a set of self-supervised loss functions with which the training data do not need to be labeled manually. Extensive experiments on the test dataset show that the results of our method not only have a great advantage in clarity and authenticity than other state-of-the-art methods, but also reflect the sufficient integration of identity and attribute.
updated: Sat Jun 26 2021 09:38:45 GMT+0000 (UTC)
published: Sat Jun 26 2021 09:38:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト