新しいビューの合成は、困難で不適切な逆レンダリングの問題です。ニューラルレンダリング技術は、最近、このタスクでフォトリアリスティックな画質を実現しました。ただし、最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングに時間がかかり、高い画像解像度を得るには数分の推論(つまりレンダリング)時間が必要です。陰関数曲面と、ポーズをとった2D画像のみで監視されるシーンの輝度フィールドを共同で最適化するために、周期的なアクティブ化を備えた大容量のニューラルシーン表現を採用しています。私たちのニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁高速化し、暗黙のサーフェス表現は、ビューに依存するテクスチャ情報を使用してメッシュをエクスポートできるという点で独特です。したがって、他の暗黙の表面表現と同様に、私たちの表現は従来のグラフィックパイプラインと互換性があり、リアルタイムのレンダリングレートを可能にすると同時に、他の表面表現と比較して前例のない画質を実現します。既存のデータセットと、カスタムマルチカメラリグでキャプチャされた高品質の3D顔データを使用して、アプローチの品質を評価します。
Novel view synthesis is a challenging and ill-posed inverse rendering problem. Neural rendering techniques have recently achieved photorealistic image quality for this task. State-of-the-art (SOTA) neural volume rendering approaches, however, are slow to train and require minutes of inference (i.e., rendering) time for high image resolutions. We adopt high-capacity neural scene representations with periodic activations for jointly optimizing an implicit surface and a radiance field of a scene supervised exclusively with posed 2D images. Our neural rendering pipeline accelerates SOTA neural volume rendering by about two orders of magnitude and our implicit surface representation is unique in allowing us to export a mesh with view-dependent texture information. Thus, like other implicit surface representations, ours is compatible with traditional graphics pipelines, enabling real-time rendering rates, while achieving unprecedented image quality compared to other surface methods. We assess the quality of our approach using existing datasets as well as high-quality 3D face data captured with a custom multi-camera rig.