arXiv reaDer
リアルタイム ビュー合成のためのニューラル デュプレックス ラディアンス フィールドの学習
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis
ニューラル ラディアンス フィールド (NeRFs) は、これまでにない視覚的品質を備えた新しいビュー合成を可能にします。ただし、写真のようにリアルな画像をレンダリングするには、NeRF ではピクセルごとに何百もの深層多層パーセプトロン (MLP) 評価が必要です。これは法外にコストがかかり、強力な最新の GPU でもリアルタイム レンダリングを実行不可能にします。このホワイト ペーパーでは、NeRF を抽出して、大規模並列グラフィックス レンダリング パイプラインと完全に互換性のある非常に効率的なメッシュベースのニューラル表現に焼き付ける新しいアプローチを提案します。シーンを 2 層デュプレックス メッシュでエンコードされたニューラル ラジアンス機能として表現します。これは、信頼できる光線と表面の交点から集約された放射輝度情報を学習することにより、3D 表面再構成に固有の不正確さを効果的に克服します。近くのピクセルの局所的な幾何学的関係を利用するために、NeRF で使用される MLP の代わりに画面空間畳み込みを利用して、高品質の外観を実現します。最後に、新しいマルチビュー蒸留最適化戦略によって、フレームワーク全体のパフォーマンスがさらに向上します。さまざまな標準データセットでの広範な実験を通じて、アプローチの有効性と優位性を実証します。
Neural radiance fields (NeRFs) enable novel view synthesis with unprecedented visual quality. However, to render photorealistic images, NeRFs require hundreds of deep multilayer perceptron (MLP) evaluations - for each pixel. This is prohibitively expensive and makes real-time rendering infeasible, even on powerful modern GPUs. In this paper, we propose a novel approach to distill and bake NeRFs into highly efficient mesh-based neural representations that are fully compatible with the massively parallel graphics rendering pipeline. We represent scenes as neural radiance features encoded on a two-layer duplex mesh, which effectively overcomes the inherent inaccuracies in 3D surface reconstruction by learning the aggregated radiance information from a reliable interval of ray-surface intersections. To exploit local geometric relationships of nearby pixels, we leverage screen-space convolutions instead of the MLPs used in NeRFs to achieve high-quality appearance. Finally, the performance of the whole framework is further boosted by a novel multi-view distillation optimization strategy. We demonstrate the effectiveness and superiority of our approach via extensive experiments on a range of standard datasets.
updated: Thu Apr 20 2023 17:59:52 GMT+0000 (UTC)
published: Thu Apr 20 2023 17:59:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト