arXiv reaDer
インテリジェントビデオ編集:ビデオエディタに最新の話す顔生成アルゴリズムを組み込む
Intelligent Video Editing: Incorporating Modern Talking Face Generation Algorithms in a Video Editor
この論文では、OpenShotに基づいて、いくつかの最先端の顔ビデオ編集アルゴリズムを追加機能として備えたビデオエディタを提案します。私たちのエディターは、最新のリップシンクアルゴリズムをインタラクティブに適用するための使いやすいインターフェースを提供します。リップシンクとは別に、エディターは音声と顔の再現を使用して、表情豊かな話し顔を生成します。手動制御は、最新の合成ビデオ生成アルゴリズムの利点を逃すことなく、ビデオ編集の全体的なエクスペリエンスを向上させます。このコントロールにより、複雑な吹き替え映画のシーン、インタビュー、テレビ番組、その他のビジュアルコンテンツをリップシンクできます。さらに、私たちのエディターは、音声コンテンツ、教授のリップシンク、スライドなどの背景コンテンツから講義を自動的に翻訳する機能を提供します。その際、背景コンテンツを翻訳された音声と同期させるという重要な側面にも取り組みます。人間による評価を行うことにより、提案された編集者の有用性を定性的に評価します。私たちの評価は、人間の編集者を使用する効率の明らかな改善と改善されたビデオ生成品質を示しています。ツールを明確に説明し、複数の結果を紹介する補足資料を含むデモビデオを添付します。
This paper proposes a video editor based on OpenShot with several state-of-the-art facial video editing algorithms as added functionalities. Our editor provides an easy-to-use interface to apply modern lip-syncing algorithms interactively. Apart from lip-syncing, the editor also uses audio and facial re-enactment to generate expressive talking faces. The manual control improves the overall experience of video editing without missing out on the benefits of modern synthetic video generation algorithms. This control enables us to lip-sync complex dubbed movie scenes, interviews, television shows, and other visual content. Furthermore, our editor provides features that automatically translate lectures from spoken content, lip-sync of the professor, and background content like slides. While doing so, we also tackle the critical aspect of synchronizing background content with the translated speech. We qualitatively evaluate the usefulness of the proposed editor by conducting human evaluations. Our evaluations show a clear improvement in the efficiency of using human editors and an improved video generation quality. We attach demo videos with the supplementary material clearly explaining the tool and also showcasing multiple results.
updated: Sat Oct 16 2021 14:19:12 GMT+0000 (UTC)
published: Sat Oct 16 2021 14:19:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト