トーキングフェースの生成は、正確な唇の同期と、与えられたスピーチクリップと顔の画像を介したビデオ全体での顔の動きのスムーズな遷移を備えた顔のビデオを合成することを目的としています。ほとんどの既存の方法は、主に単一の画像内の情報のもつれを解くか、フレーム間の時間情報を学習することに焦点を当てています。ただし、オーディオとビデオの情報間のモダリティ間の一貫性は、合成時に十分に対処されていません。この論文では、提案された非対称相互情報量推定器(AMIE)を介して視聴覚コヒーレンスを発見することにより、新しい任意の会話顔生成フレームワークを提案します。さらに、唇の同期をさらに強化するために、トレーニング段階中に入力画像の唇領域を選択的にフォーカスすることにより、動的注意(DA)ブロックを提案します。ベンチマークLRWデータセットとGRIDデータセットの実験結果は、性別とポーズのバリエーションをロバストな高解像度で合成することで、普及しているメトリックの最先端の方法を超えています。
Talking face generation aims to synthesize a face video with precise lip synchronization as well as a smooth transition of facial motion over the entire video via the given speech clip and facial image. Most existing methods mainly focus on either disentangling the information in a single image or learning temporal information between frames. However, cross-modality coherence between audio and video information has not been well addressed during synthesis. In this paper, we propose a novel arbitrary talking face generation framework by discovering the audio-visual coherence via the proposed Asymmetric Mutual Information Estimator (AMIE). In addition, we propose a Dynamic Attention (DA) block by selectively focusing the lip area of the input image during the training stage, to further enhance lip synchronization. Experimental results on benchmark LRW dataset and GRID dataset transcend the state-of-the-art methods on prevalent metrics with robust high-resolution synthesizing on gender and pose variations.