既知の環境照明の下でキャプチャされたマルチビュー画像からのシーンの同時ビュー合成と外観編集のためのニューラルレンダリングフレームワークを提示します。既存のアプローチは、シーンの外観を直接制御することなく、ビュー合成のみを実現するか、ビュー合成と再照明を実現します。私たちのアプローチは、外観を明確に解きほぐし、それとは独立した照明表現を学習します。具体的には、BRDFを独自に推定し、それを使用してシーンの照明のみの表現を学習します。このような解きほぐしにより、ビューの合成を実行しながら、外観の任意の変化に一般化するアプローチが可能になります。実際のシーンの外観を編集した結果を示し、私たちのアプローチがもっともらしい外観編集を生み出すことを示します。ビュー合成アプローチのパフォーマンスは、実際のデータと合成データの両方で最先端のアプローチと同等であることが実証されています。
We present a neural rendering framework for simultaneous view synthesis and appearance editing of a scene from multi-view images captured under known environment illumination. Existing approaches either achieve view synthesis alone or view synthesis along with relighting, without direct control over the scene's appearance. Our approach explicitly disentangles the appearance and learns a lighting representation that is independent of it. Specifically, we independently estimate the BRDF and use it to learn a lighting-only representation of the scene. Such disentanglement allows our approach to generalize to arbitrary changes in appearance while performing view synthesis. We show results of editing the appearance of a real scene, demonstrating that our approach produces plausible appearance editing. The performance of our view synthesis approach is demonstrated to be at par with state-of-the-art approaches on both real and synthetic data.