arXiv reaDer
ダイナミック ニューラル ポートレート
Dynamic Neural Portraits
全頭再現の問題に対する新しいアプローチである Dynamic Neural Portraits を紹介します。私たちの方法は、頭のポーズ、顔の表情、視線を明示的に制御することにより、写真のようにリアルなビデオ ポートレートを生成します。私たちが提案するアーキテクチャは、3D 顔のレンダリングを写真のようにリアルな画像に変換するために GAN ベースの画像から画像への変換ネットワークに依存する既存の方法とは異なります。代わりに、制御可能なダイナミクスを備えた 2D 座標ベースの MLP に基づいてシステムを構築します。最近の 3D NeRF のようなシステムとは対照的に、2D ベースの表現を採用するという私たちの直感は、ビデオ ポートレートが単眼固定カメラでキャプチャされるという事実に由来するため、シーンの 1 つの視点しか利用できません。主に、表現のブレンドシェイプで生成モデルを調整しますが、システムがオーディオ機能によってもうまく駆動できることを示しています。私たちの実験は、提案された方法が最近の NeRF ベースの再現方法よりも 270 倍高速であることを示しており、ネットワークは最大 1024 x 1024 の解像度で 24 fps の速度を達成し、視覚的な品質の点で以前の作業よりも優れています。
We present Dynamic Neural Portraits, a novel approach to the problem of full-head reenactment. Our method generates photo-realistic video portraits by explicitly controlling head pose, facial expressions and eye gaze. Our proposed architecture is different from existing methods that rely on GAN-based image-to-image translation networks for transforming renderings of 3D faces into photo-realistic images. Instead, we build our system upon a 2D coordinate-based MLP with controllable dynamics. Our intuition to adopt a 2D-based representation, as opposed to recent 3D NeRF-like systems, stems from the fact that video portraits are captured by monocular stationary cameras, therefore, only a single viewpoint of the scene is available. Primarily, we condition our generative model on expression blendshapes, nonetheless, we show that our system can be successfully driven by audio features as well. Our experiments demonstrate that the proposed method is 270 times faster than recent NeRF-based reenactment methods, with our networks achieving speeds of 24 fps for resolutions up to 1024 x 1024, while outperforming prior works in terms of visual quality.
updated: Fri Nov 25 2022 10:06:14 GMT+0000 (UTC)
published: Fri Nov 25 2022 10:06:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト