NeRF ベースの技術は、広くて深い多層パーセプトロン (MLP) を、目に見えない視点からレンダリングできる連続的な放射輝度フィールドに適合させます。ただし、サーフェスと法線の定義がなく、レンダリング時間が長いため、一般的なコンピューター グラフィックス アプリケーションでの使用が制限されます。このような制限は最近個別に克服されましたが、それらを一緒に解決することは未解決の問題のままです. KiloNeuS は、多視点画像から符号付き距離関数 (SDF) として表される暗黙的な表面を再構築し、空間を何千もの小さな MLP に分割して推論することでリアルタイム レンダリングを可能にするニューラル表現です。独立したモデルを使用して暗黙的なサーフェスをローカルで学習すると、グローバルにコヒーレントなジオメトリが得られることは自明ではなく、トレーニング中に対処する必要があります。シェーダー内ニューラル ネットワーク推論を使用して GPU アクセラレーション レイキャスターでレンダリング パフォーマンスを評価した結果、高解像度で平均 46 FPS となり、ストレージ コストとレンダリング品質の間の満足のいくトレードオフが証明されました。実際、レンダリング品質と表面回復の評価では、KiloNeuS がシングル MLP の対応物よりも優れていることが示されています。最後に、KiloNeuS の多用途性を示すために、サーフェス法線を最大限に活用するインタラクティブなパス トレーサーに統合します。私たちの研究は、グローバル イルミネーション下での暗黙的なニューラル表現のリアルタイム レンダリングに向けた重要な第一歩であると考えています。
NeRF-based techniques fit wide and deep multi-layer perceptrons (MLPs) to a continuous radiance field that can be rendered from any unseen viewpoint. However, the lack of surface and normals definition and high rendering times limit their usage in typical computer graphics applications. Such limitations have recently been overcome separately, but solving them together remains an open problem. We present KiloNeuS, a neural representation reconstructing an implicit surface represented as a signed distance function (SDF) from multi-view images and enabling real-time rendering by partitioning the space into thousands of tiny MLPs fast to inference. As we learn the implicit surface locally using independent models, resulting in a globally coherent geometry is non-trivial and needs to be addressed during training. We evaluate rendering performance on a GPU-accelerated ray-caster with in-shader neural network inference, resulting in an average of 46 FPS at high resolution, proving a satisfying tradeoff between storage costs and rendering quality. In fact, our evaluation for rendering quality and surface recovery shows that KiloNeuS outperforms its single-MLP counterpart. Finally, to exhibit the versatility of KiloNeuS, we integrate it into an interactive path-tracer taking full advantage of its surface normals. We consider our work a crucial first step toward real-time rendering of implicit neural representations under global illumination.