arXiv reaDer
オーディオ主導のフリー ビュー トーキング ヘッド合成のためのキーポイント ベースの拡張方法
A Keypoint Based Enhancement Method for Audio Driven Free View Talking Head Synthesis
オーディオ駆動のトーキング ヘッド合成は、近年ますます注目を集めている挑戦的なタスクです。 2D ランドマークまたは 3D 顔モデルに基づく既存の方法は、任意のアイデンティティのために正確な唇の同期とリズミカルな頭のポーズを合成できますが、口のマッピングのカット感や肌のハイライトの欠如など、依然として制限があります。モーフィングされた領域は、周囲の顔に比べてぼやけています。キーポイント ベースの強化 (KPBE) メソッドは、生成されたビデオの自然さを改善するために、オーディオ主導のフリー ビュー トーキング ヘッド合成用に提案されています。まず、中間結果を合成するためのバックエンドとして既存のメソッドが使用されました。次に、キーポイント分解を使用して、バックエンド出力とソース画像からビデオ合成制御パラメーターを抽出しました。その後、制御パラメータがソース キーポイントと駆動キーポイントに合成されました。キーポイント表現から最終画像を生成するために、モーション フィールド ベースの方法が使用されました。キーポイント表現により、口のマッピングのカット感と肌のハイライトの不足を克服しました。実験では、提案された強化方法が、平均オピニオン スコアの点で話し手ビデオの品質を改善したことを示しています。
Audio driven talking head synthesis is a challenging task that attracts increasing attention in recent years. Although existing methods based on 2D landmarks or 3D face models can synthesize accurate lip synchronization and rhythmic head pose for arbitrary identity, they still have limitations, such as the cut feeling in the mouth mapping and the lack of skin highlights. The morphed region is blurry compared to the surrounding face. A Keypoint Based Enhancement (KPBE) method is proposed for audio driven free view talking head synthesis to improve the naturalness of the generated video. Firstly, existing methods were used as the backend to synthesize intermediate results. Then we used keypoint decomposition to extract video synthesis controlling parameters from the backend output and the source image. After that, the controlling parameters were composited to the source keypoints and the driving keypoints. A motion field based method was used to generate the final image from the keypoint representation. With keypoint representation, we overcame the cut feeling in the mouth mapping and the lack of skin highlights. Experiments show that our proposed enhancement method improved the quality of talking-head videos in terms of mean opinion score.
updated: Fri Oct 07 2022 05:44:10 GMT+0000 (UTC)
published: Fri Oct 07 2022 05:44:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト