arXiv reaDer
ビデオのポートレートのパラメトリックリシェイプ
Parametric Reshaping of Portraits in Videos
短いパーソナライズされたビデオをさまざまなソーシャルメディアネットワークに共有することは、近年非常に人気があります。これにより、ビデオのポートレートをデジタルレタッチする必要が生じます。ただし、ポートレート画像編集をポートレートビデオフレームに直接適用しても、スムーズで安定したビデオシーケンスを生成することはできません。この目的のために、ビデオのポートレートを再形成してスムーズなレタッチ結果を生成するための、堅牢で使いやすいパラメトリック手法を紹介します。入力されたポートレートビデオを考えると、私たちの方法は、安定した顔の再構築と継続的なビデオの再形成という2つの主要な段階で構成されます。最初の段階では、ビデオフレーム全体の顔の剛体ポーズ変換を推定することから始めます。次に、複数のフレームを共同で最適化して正確な顔のアイデンティティを再構築し、ビデオ全体で顔の表情を復元します。第2段階では、最初に、顔の重量変化を反映するパラメトリック再形成モデルを使用して再構築された3D顔を再形成し、次に再形成された3D顔を使用してビデオフレームのワープをガイドします。再整形前後の顔の輪郭間のワーピングのための新しい符号付き距離関数ベースの高密度マッピング方法を開発し、歪みを最小限に抑えた安定したワープビデオフレームを実現します。さらに、顔の3D構造を使用して密なマッピングを修正し、時間的な一貫性を実現します。コンテンツ認識ワーピングメッシュを最適化することで背景の歪みを最小限に抑えることで、最終結果を生成します。広範な実験により、私たちの方法は、ソーシャルメディアや視覚効果のためのポートレートビデオ編集を容易にする単純な再形成パラメータを調整することにより、視覚的に心地よい結果を生み出すことができることが示されています。
Sharing short personalized videos to various social media networks has become quite popular in recent years. This raises the need for digital retouching of portraits in videos. However, applying portrait image editing directly on portrait video frames cannot generate smooth and stable video sequences. To this end, we present a robust and easy-to-use parametric method to reshape the portrait in a video to produce smooth retouched results. Given an input portrait video, our method consists of two main stages: stabilized face reconstruction, and continuous video reshaping. In the first stage, we start by estimating face rigid pose transformations across video frames. Then we jointly optimize multiple frames to reconstruct an accurate face identity, followed by recovering face expressions over the entire video. In the second stage, we first reshape the reconstructed 3D face using a parametric reshaping model reflecting the weight change of the face, and then utilize the reshaped 3D face to guide the warping of video frames. We develop a novel signed distance function based dense mapping method for the warping between face contours before and after reshaping, resulting in stable warped video frames with minimum distortions. In addition, we use the 3D structure of the face to correct the dense mapping to achieve temporal consistency. We generate the final result by minimizing the background distortion through optimizing a content-aware warping mesh. Extensive experiments show that our method is able to create visually pleasing results by adjusting a simple reshaping parameter, which facilitates portrait video editing for social media and visual effects.
updated: Thu May 05 2022 09:55:16 GMT+0000 (UTC)
published: Thu May 05 2022 09:55:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト