arXiv reaDer
単一画像からのポートレートニューラルラディアンスフィールド
Portrait Neural Radiance Fields from a Single Image
単一のヘッドショットポートレートから神経放射輝度フィールド(NeRF)を推定する方法を提示します。 NeRFは高品質のビュー合成を実証していますが、静止シーンの複数の画像が必要であるため、カジュアルなキャプチャや動く被写体には実用的ではありません。この作業では、ライトステージポートレートデータセットを使用したメタラーニングフレームワークを使用して、体積密度と色を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前トレーニングすることを提案します。見えない顔への一般化を改善するために、3D顔モーフィング可能モデルによって近似された正準座標空間でMLPをトレーニングします。制御されたキャプチャを使用して方法を定量的に評価し、実際のポートレート画像への一般化を示し、最先端の技術に対して好ましい結果を示しています。
We present a method for estimating Neural Radiance Fields (NeRF) from a single headshot portrait. While NeRF has demonstrated high-quality view synthesis, it requires multiple images of static scenes and thus impractical for casual captures and moving subjects. In this work, we propose to pretrain the weights of a multilayer perceptron (MLP), which implicitly models the volumetric density and colors, with a meta-learning framework using a light stage portrait dataset. To improve the generalization to unseen faces, we train the MLP in the canonical coordinate space approximated by 3D face morphable models. We quantitatively evaluate the method using controlled captures and demonstrate the generalization to real portrait images, showing favorable results against state-of-the-arts.
updated: Fri Apr 16 2021 20:07:13 GMT+0000 (UTC)
published: Thu Dec 10 2020 18:59:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト