写真から屋外シーンをフォトリアリスティックに編集するには、画像形成プロセスを深く理解し、シーンのジオメトリ、反射率、照明を正確に推定する必要があります。次に、シーンのアルベドとジオメトリを変更せずに、照明の繊細な操作を実行できます。 NeRF-OSR、つまり、神経放射輝度フィールドに基づく屋外シーンの再照明の最初のアプローチを紹介します。従来技術とは対照的に、我々の技術は、制御されていない設定で撮影された屋外写真のコレクションのみを使用して、シーン照明とカメラ視点の両方を同時に編集することを可能にする。さらに、球面調和関数モデルで定義されているように、シーンの照明を直接制御できます。また、高品質の屋外シーンのリライティングに不可欠なシャドウ再現専用のネットワークも含まれています。提案された方法を評価するために、いくつかの屋外サイトの新しいベンチマークデータセットを収集します。各サイトは、複数の視点から異なるタイミングで撮影されます。タイミングごとに、360度の環境マップがカラーキャリブレーションチェッカーボードとともにキャプチャされ、グラウンドトゥルースに対する実際のデータの正確な数値評価が可能になります。最新技術との比較により、NeRF-OSRは、制御可能な照明と視点の編集をより高品質で、リアルなセルフシャドウ再現で可能にすることが示されています。私たちのメソッドとデータセットは、https://4dqv.mpi-inf.mpg.de/NeRF-OSR/で公開されます。
Photorealistic editing of outdoor scenes from photographs requires a profound understanding of the image formation process and an accurate estimation of the scene geometry, reflectance and illumination. A delicate manipulation of the lighting can then be performed while keeping the scene albedo and geometry unaltered. We present NeRF-OSR, i.e., the first approach for outdoor scene relighting based on neural radiance fields. In contrast to the prior art, our technique allows simultaneous editing of both scene illumination and camera viewpoint using only a collection of outdoor photos shot in uncontrolled settings. Moreover, it enables direct control over the scene illumination, as defined through a spherical harmonics model. It also includes a dedicated network for shadow reproduction, which is crucial for high-quality outdoor scene relighting. To evaluate the proposed method, we collect a new benchmark dataset of several outdoor sites, where each site is photographed from multiple viewpoints and at different timings. For each timing, a 360 degrees environment map is captured together with a colour-calibration chequerboard to allow accurate numerical evaluations on real data against ground truth. Comparisons against state of the art show that NeRF-OSR enables controllable lighting and viewpoint editing at higher quality and with realistic self-shadowing reproduction. Our method and the dataset will be made publicly available at https://4dqv.mpi-inf.mpg.de/NeRF-OSR/.