arXiv reaDer
外観適応正規化を使用したワンショット顔再現
One-shot Face Reenactment Using Appearance Adaptive Normalization
この論文は、ワンショットの顔の再現のための新しい生成的敵対的ネットワークを提案します。これは、元の外観を維持しながら、単一の顔の画像を異なるポーズと表現(運転画像によって提供される)にアニメーション化できます。私たちのネットワークの中核は、外観適応正規化と呼ばれる新しいメカニズムです。これは、学習した適応パラメータを使用してジェネレータの特徴マップを変調することにより、入力画像からの外観情報を顔ジェネレータに効果的に統合できます。さらに、ローカルネットを特別に設計して、最初にローカルの顔のコンポーネント(つまり、目、鼻、口)を再現します。これは、ネットワークが学習するのがはるかに簡単なタスクであり、フェイスジェネレーターが学習するようにガイドする明示的なアンカーを提供できます。グローバルな外観とポーズと表現。広範な定量的および定性的実験は、以前のワンショット法と比較して、私たちのモデルの重要な有効性を示しています。
The paper proposes a novel generative adversarial network for one-shot face reenactment, which can animate a single face image to a different pose-and-expression (provided by a driving image) while keeping its original appearance. The core of our network is a novel mechanism called appearance adaptive normalization, which can effectively integrate the appearance information from the input image into our face generator by modulating the feature maps of the generator using the learned adaptive parameters. Furthermore, we specially design a local net to reenact the local facial components (i.e., eyes, nose and mouth) first, which is a much easier task for the network to learn and can in turn provide explicit anchors to guide our face generator to learn the global appearance and pose-and-expression. Extensive quantitative and qualitative experiments demonstrate the significant efficacy of our model compared with prior one-shot methods.
updated: Mon Apr 26 2021 08:05:06 GMT+0000 (UTC)
published: Mon Feb 08 2021 03:36:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト