大規模な環境を表すことができるニューラルラディアンスフィールドの変形であるBlock-NeRFを紹介します。具体的には、NeRFをスケーリングして複数のブロックにまたがる都市規模のシーンをレンダリングする場合、シーンを個別にトレーニングされたNeRFに分解することが重要であることを示します。この分解により、レンダリング時間がシーンサイズから切り離され、レンダリングを任意の大規模な環境にスケーリングできるようになり、環境のブロックごとの更新が可能になります。さまざまな環境条件下で数か月にわたってキャプチャされたデータに対してNeRFを堅牢にするために、いくつかのアーキテクチャの変更を採用しています。個々のNeRFに外観の埋め込み、学習したポーズの改良、および制御可能な露出を追加し、隣接するNeRF間で外観を調整して、シームレスに組み合わせることができるようにする手順を紹介します。 280万枚の画像からBlock-NeRFのグリッドを構築して、サンフランシスコの近隣全体をレンダリングできる、これまでで最大のニューラルシーン表現を作成します。
We present Block-NeRF, a variant of Neural Radiance Fields that can represent large-scale environments. Specifically, we demonstrate that when scaling NeRF to render city-scale scenes spanning multiple blocks, it is vital to decompose the scene into individually trained NeRFs. This decomposition decouples rendering time from scene size, enables rendering to scale to arbitrarily large environments, and allows per-block updates of the environment. We adopt several architectural changes to make NeRF robust to data captured over months under different environmental conditions. We add appearance embeddings, learned pose refinement, and controllable exposure to each individual NeRF, and introduce a procedure for aligning appearance between adjacent NeRFs so that they can be seamlessly combined. We build a grid of Block-NeRFs from 2.8 million images to create the largest neural scene representation to date, capable of rendering an entire neighborhood of San Francisco.