Neural Radiance Fields(NeRF)は、前例のない忠実度でシーンを再構築することができ、最近のさまざまな作業により、動的なシーンを処理するようにNeRFが拡張されています。このような非剛体シーンを再構築するための一般的なアプローチは、各入力画像の座標から正規のテンプレート座標空間にマッピングする学習済みの変形フィールドを使用することです。ただし、トポロジの変更には変形フィールドの不連続性が必要であるため、これらの変形ベースのアプローチはトポロジの変更をモデル化するのに苦労しますが、これらの変形フィールドは必然的に連続します。 NeRFをより高次元の空間に持ち上げ、個々の入力画像に対応する5D放射輝度フィールドをこの「超空間」を通るスライスとして表すことにより、この制限に対処します。私たちの方法は、高次元の表面を通るスライスとして表面の進化をモデル化するレベルセット法に触発されています。私たちは2つのタスクで私たちの方法を評価します:(i)視覚的妥当性を維持しながら入力画像に見られる「瞬間」、すなわちシーンの構成の間をスムーズに補間すること、および(ii)固定された瞬間での新しいビューの合成。 HyperNeRFと名付けた私たちの方法は、両方のタスクで既存の方法よりも優れていることを示しています。 Nerfiesと比較して、HyperNeRFは、LPIPSで測定した場合、平均エラー率を補間で4.1%、新規ビュー合成で8.6%削減します。追加のビデオ、結果、および視覚化は、https://hypernerf.github.ioで入手できます。
Neural Radiance Fields (NeRF) are able to reconstruct scenes with unprecedented fidelity, and various recent works have extended NeRF to handle dynamic scenes. A common approach to reconstruct such non-rigid scenes is through the use of a learned deformation field mapping from coordinates in each input image into a canonical template coordinate space. However, these deformation-based approaches struggle to model changes in topology, as topological changes require a discontinuity in the deformation field, but these deformation fields are necessarily continuous. We address this limitation by lifting NeRFs into a higher dimensional space, and by representing the 5D radiance field corresponding to each individual input image as a slice through this "hyper-space". Our method is inspired by level set methods, which model the evolution of surfaces as slices through a higher dimensional surface. We evaluate our method on two tasks: (i) interpolating smoothly between "moments", i.e., configurations of the scene, seen in the input images while maintaining visual plausibility, and (ii) novel-view synthesis at fixed moments. We show that our method, which we dub HyperNeRF, outperforms existing methods on both tasks. Compared to Nerfies, HyperNeRF reduces average error rates by 4.1% for interpolation and 8.6% for novel-view synthesis, as measured by LPIPS. Additional videos, results, and visualizations are available at https://hypernerf.github.io.