arXiv reaDer
FONT: 自然な頭の動きによるフローガイド付きのワンショット トーキング ヘッド生成
FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions
ワンショットトーキングヘッド生成は、近年注目を集めており、さまざまな創造的かつ実用的なアプリケーションがあります。理想的な自然で鮮やかなトーキング ヘッド ビデオには、自然なヘッド ポーズの変化が含まれている必要があります。ただし、オーディオとビジュアルのモダリティ間には自然なギャップが存在するため、運転中のオーディオからヘッド ポーズ シーケンスをマッピングすることは困難です。この作業では、生成されたトーキング ヘッド上で NaTural ヘッド モーション (FONT) を実現する Flow-guided One-shot モデルを提案します。具体的には、頭部ポーズ予測モジュールは、ソースの顔とドライビング オーディオから頭部ポーズ シーケンスを生成するように設計されています。ランダム サンプリング操作と構造的類似性制約を追加して、視聴覚モダリティ間の 1 対多マッピングの多様性をモデル化し、自然な頭の姿勢を予測します。次に、ソースの顔から教師なしキーポイントを生成するキーポイント予測器を開発し、オーディオとポーズ シーケンスを駆動して顔の構造情報を記述します。最後に、フロー ガイド付きオクルージョン対応ジェネレーターを使用して、推定されたキーポイントとソース面から写真のようにリアルなトーキング ヘッド ビデオを生成します。広範な実験結果により、FONT が自然な頭のポーズと同期した口の形をしたトーキング ヘッドを生成し、他の比較された方法よりも優れていることが証明されています。
One-shot talking head generation has received growing attention in recent years, with various creative and practical applications. An ideal natural and vivid generated talking head video should contain natural head pose changes. However, it is challenging to map head pose sequences from driving audio since there exists a natural gap between audio-visual modalities. In this work, we propose a Flow-guided One-shot model that achieves NaTural head motions(FONT) over generated talking heads. Specifically, the head pose prediction module is designed to generate head pose sequences from the source face and driving audio. We add the random sampling operation and the structural similarity constraint to model the diversity in the one-to-many mapping between audio-visual modality, thus predicting natural head poses. Then we develop a keypoint predictor that produces unsupervised keypoints from the source face, driving audio and pose sequences to describe the facial structure information. Finally, a flow-guided occlusion-aware generator is employed to produce photo-realistic talking head videos from the estimated keypoints and source face. Extensive experimental results prove that FONT generates talking heads with natural head poses and synchronized mouth shapes, outperforming other compared methods.
updated: Fri Mar 31 2023 03:25:06 GMT+0000 (UTC)
published: Fri Mar 31 2023 03:25:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト