人間の肖像画は、さまざまな照明条件の下でさまざまなビューから観察すると、さまざまな外観を示します。別の設定で顔がどのように見えるかは簡単に想像できますが、観察が限られているため、コンピューターアルゴリズムはこの問題で失敗します。この目的のために、ポートレートビューの合成と再照明のシステムを紹介します。複数のポートレートが与えられた場合、ニューラルネットワークを使用して3D空間の光輸送フィールドを予測し、予測されたニューラル光輸送フィールド(NeLF)からポートレートを生成します。新しい環境照明の下での新しいカメラビューから。私たちのシステムは、多数の合成モデルでトレーニングされており、さまざまな照明条件下でさまざまな合成および実際のポートレートに一般化できます。私たちの方法は、入力としてマルチビューポートレートを指定して、ビューの合成と再照明を同時に実行し、最先端の結果を実現します。
Human portraits exhibit various appearances when observed from different views under different lighting conditions. We can easily imagine how the face will look like in another setup, but computer algorithms still fail on this problem given limited observations. To this end, we present a system for portrait view synthesis and relighting: given multiple portraits, we use a neural network to predict the light-transport field in 3D space, and from the predicted Neural Light-transport Field (NeLF) produce a portrait from a new camera view under a new environmental lighting. Our system is trained on a large number of synthetic models, and can generalize to different synthetic and real portraits under various lighting conditions. Our method achieves simultaneous view synthesis and relighting given multi-view portraits as the input, and achieves state-of-the-art results.