arXiv reaDer
属性ガイド付き拡散モデルを使用した顔のアニメーション
Face Animation with an Attribute-Guided Diffusion Model
フェイス アニメーションは、コンピューター ビジョンにおいて大きな進歩を遂げました。ただし、一般的なGANベースの方法は、洗練されたモーション変形による不自然な歪みやアーティファクトに悩まされています。この論文では、属性ガイド付き拡散モデル (FADM) を使用したフェイス アニメーション フレームワークを提案します。これは、フォトリアリスティックなトーキング ヘッド生成のために拡散モデルの優れたモデリング能力を活用する最初の作業です。拡散モデルの制御不能な合成効果を軽減するために、アトリビュート ガイド コンディショニング ネットワーク (AGCN) を設計して、粗いアニメーション機能と 3D 顔再構成結果を適応的に組み合わせます。これにより、外観と動きの条件を拡散プロセスに組み込むことができます。これらの特定のデザインは、FADM が不自然なアーティファクトと歪みを修正するのに役立ち、また、正確なアニメーション属性を使用した反復的な拡散改良により、忠実度の高い顔のディテールを豊かにします。 FADM は、既存のアニメーション ビデオを柔軟かつ効果的に改善できます。広く使用されているトーキングヘッド ベンチマークでの広範な実験により、先行技術に対する FADM の有効性が検証されています。
Face animation has achieved much progress in computer vision. However, prevailing GAN-based methods suffer from unnatural distortions and artifacts due to sophisticated motion deformation. In this paper, we propose a Face Animation framework with an attribute-guided Diffusion Model (FADM), which is the first work to exploit the superior modeling capacity of diffusion models for photo-realistic talking-head generation. To mitigate the uncontrollable synthesis effect of the diffusion model, we design an Attribute-Guided Conditioning Network (AGCN) to adaptively combine the coarse animation features and 3D face reconstruction results, which can incorporate appearance and motion conditions into the diffusion process. These specific designs help FADM rectify unnatural artifacts and distortions, and also enrich high-fidelity facial details through iterative diffusion refinements with accurate animation attributes. FADM can flexibly and effectively improve existing animation videos. Extensive experiments on widely used talking-head benchmarks validate the effectiveness of FADM over prior arts.
updated: Thu Apr 06 2023 16:22:32 GMT+0000 (UTC)
published: Thu Apr 06 2023 16:22:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト