arXiv reaDer
ナレート:通常のアシスト付きフリービューポートレートスタイライザー
NARRATE: A Normal Assisted Free-View Portrait Stylizer
この作品では、ポートレート照明と遠近法をフォトリアリスティックな方法で同時に編集できる新しいパイプラインであるNARRATEを提案します。ハイブリッドニューラルフィジカルフェイスモデルとして、NARRATEは、ジオメトリを意識した生成アプローチと通常支援のフィジカルフェイスモデルの補完的な利点を活用します。一言で言えば、NARRATEは最初に入力ポートレートを粗いジオメトリに反転し、ニューラルレンダリングを使用して入力に似た画像を生成し、説得力のあるポーズの変更を生成します。ただし、反転ステップでは不一致が発生し、顔の細部が少ない低品質の画像が表示されます。そのため、粗いジオメトリを強化するためにポートレート法線をさらに推定し、忠実度の高い物理的な顔モデルを作成します。特に、神経レンダリングと物理レンダリングを融合して不完全な反転を補正し、リアルでビューの一貫性のある新しい遠近法画像を作成します。再照明の段階では、以前の作品は単一ビューの肖像画の再照明に焦点を当てていますが、異なる視点間の一貫性も無視しており、ビューの変更に対して不安定で一貫性のない照明効果をもたらします。 Total Relightingを拡張して、マルチビュー入力法線マップを物理的な顔モデルと統合することにより、この問題を修正します。 NARRATEは、一貫した法線マップを使用して再照明を実行し、クロスビュー制約を課し、安定したコヒーレントな照明効果を示します。 NARRATEが以前の作品よりも写実的で信頼性の高い結果を達成することを実験的に示します。さらに、NARRATEをアニメーションおよびスタイル転送ツールと橋渡しし、ポーズの変更、光の変更、顔のアニメーション、およびスタイルの転送を、個別にまたは組み合わせて、すべて写真品質でサポートします。鮮やかなフリービューの顔のアニメーションと、仮想映画撮影、3Dビデオ会議、ポストプロダクションなどのさまざまなAR/VRアプリケーションを容易にする3D対応の再照明可能なスタイルを紹介します。
In this work, we propose NARRATE, a novel pipeline that enables simultaneously editing portrait lighting and perspective in a photorealistic manner. As a hybrid neural-physical face model, NARRATE leverages complementary benefits of geometry-aware generative approaches and normal-assisted physical face models. In a nutshell, NARRATE first inverts the input portrait to a coarse geometry and employs neural rendering to generate images resembling the input, as well as producing convincing pose changes. However, inversion step introduces mismatch, bringing low-quality images with less facial details. As such, we further estimate portrait normal to enhance the coarse geometry, creating a high-fidelity physical face model. In particular, we fuse the neural and physical renderings to compensate for the imperfect inversion, resulting in both realistic and view-consistent novel perspective images. In relighting stage, previous works focus on single view portrait relighting but ignoring consistency between different perspectives as well, leading unstable and inconsistent lighting effects for view changes. We extend Total Relighting to fix this problem by unifying its multi-view input normal maps with the physical face model. NARRATE conducts relighting with consistent normal maps, imposing cross-view constraints and exhibiting stable and coherent illumination effects. We experimentally demonstrate that NARRATE achieves more photorealistic, reliable results over prior works. We further bridge NARRATE with animation and style transfer tools, supporting pose change, light change, facial animation, and style transfer, either separately or in combination, all at a photographic quality. We showcase vivid free-view facial animations as well as 3D-aware relightable stylization, which help facilitate various AR/VR applications like virtual cinematography, 3D video conferencing, and post-production.
updated: Sun Jul 03 2022 07:54:05 GMT+0000 (UTC)
published: Sun Jul 03 2022 07:54:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト