神経放射輝度フィールド(NeRF)は、データ駆動型3D再構成で一般的な方法です。そのシンプルさと高品質のレンダリングを考えると、多くのNeRFアプリケーションが開発されています。ただし、NeRFの大きな制限は、速度が遅いことです。複雑なコードレベルの最適化とキャッシング、高度なデータ構造の使用、マルチタスクとメタ学習による償却など、NeRFのトレーニングと推論を高速化するために多くの試みが行われています。この作業では、NeRFの前の古典的な手法のレンズを通して、NeRFの基本的な構成要素を再検討します。ボクセル加速NeRF(VaxNeRF)を提案します。これは、NeRFをビジュアルハルと統合します。これは、画像ごとにバイナリの前景と背景のピクセルラベルのみを必要とする古典的な3D再構成手法です。約10秒で最適化できるビジュアルハルは、NeRFでのネットワーク評価のかなりの量を省略して、粗いインアウトフィールド分離を提供できます。人気のあるJaxNeRFコードベースでクリーンな完全PythonicのJAXベースの実装を提供します。これは、わずか約30行のコード変更とモジュラービジュアルハルサブルーチンで構成され、高性能のJaxNeRFに加えて約2〜8倍高速な学習を実現します。レンダリング品質の低下がゼロのベースライン。十分な計算があれば、これにより完全なNeRFトレーニングが数時間から30分に効果的に短縮されます。 VaxNeRF(古典的な手法と深い手法(おそらくそれを置き換えた)の注意深い組み合わせ)が、そのシンプルさ、移植性、信頼性の高いパフォーマンスの向上により、新しいNeRF拡張機能とアプリケーションを強化および加速できることを願っています。コードはhttps://github.com/naruya/VaxNeRFで入手できます。
Neural Radiance Field (NeRF) is a popular method in data-driven 3D reconstruction. Given its simplicity and high quality rendering, many NeRF applications are being developed. However, NeRF's big limitation is its slow speed. Many attempts are made to speeding up NeRF training and inference, including intricate code-level optimization and caching, use of sophisticated data structures, and amortization through multi-task and meta learning. In this work, we revisit the basic building blocks of NeRF through the lens of classic techniques before NeRF. We propose Voxel-Accelearated NeRF (VaxNeRF), integrating NeRF with visual hull, a classic 3D reconstruction technique only requiring binary foreground-background pixel labels per image. Visual hull, which can be optimized in about 10 seconds, can provide coarse in-out field separation to omit substantial amounts of network evaluations in NeRF. We provide a clean fully-pythonic, JAX-based implementation on the popular JaxNeRF codebase, consisting of only about 30 lines of code changes and a modular visual hull subroutine, and achieve about 2-8x faster learning on top of the highly-performative JaxNeRF baseline with zero degradation in rendering quality. With sufficient compute, this effectively brings down full NeRF training from hours to 30 minutes. We hope VaxNeRF -- a careful combination of a classic technique with a deep method (that arguably replaced it) -- can empower and accelerate new NeRF extensions and applications, with its simplicity, portability, and reliable performance gains. Codes are available at https://github.com/naruya/VaxNeRF .