唇の動きをあらゆる音声波形と同期させる最近の進歩にもかかわらず、現在の方法では生成品質とモデルの汎化能力のバランスをとるのに依然として苦労しています。これまでの研究では、トレーニングに長期データが必要か、すべての被験者に対して低品質の同様の動作パターンが生成されていました。本稿では、高忠実度のリップシンクを可能にする効果的なフレームワークである StyleSync を提案します。私たちは、スタイルベースのジェネレーターが、ワンショット シナリオと少数ショット シナリオの両方でこのような魅力的なプロパティを十分に有効にできることを確認しました。具体的には、指定された顔の詳細を保存するマスクガイド付き空間情報エンコード モジュールを設計します。口の形状は、変調された畳み込みを通じてオーディオによって正確に変更されます。さらに、当社の設計では、限られたフレームのみにスタイル スペースとジェネレーターの改良を導入することで、パーソナライズされたリップシンクも可能になります。したがって、対象者の身元と話し方を正確に保存することができます。広範な実験により、さまざまなシーンで忠実度の高い結果を生成する際の私たちの方法の有効性が実証されています。リソースは https://hangz-nju-cuhk.github.io/projects/StyleSync にあります。
Despite recent advances in syncing lip movements with any audio waves, current methods still struggle to balance generation quality and the model's generalization ability. Previous studies either require long-term data for training or produce a similar movement pattern on all subjects with low quality. In this paper, we propose StyleSync, an effective framework that enables high-fidelity lip synchronization. We identify that a style-based generator would sufficiently enable such a charming property on both one-shot and few-shot scenarios. Specifically, we design a mask-guided spatial information encoding module that preserves the details of the given face. The mouth shapes are accurately modified by audio through modulated convolutions. Moreover, our design also enables personalized lip-sync by introducing style space and generator refinement on only limited frames. Thus the identity and talking style of a target person could be accurately preserved. Extensive experiments demonstrate the effectiveness of our method in producing high-fidelity results on a variety of scenes. Resources can be found at https://hangz-nju-cuhk.github.io/projects/StyleSync.