arXiv reaDer
リアルタイム アンチエイリアシング ニューラル レンダリングのマルチスケール表現
Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering
ニューラル ラディアンス フィールド (NeRF) のレンダリング スキームは、光線をシーンにキャストすることによってピクセルをレンダリングするのに効果的です。ただし、NeRF は、トレーニング イメージが不均一なスケールでキャプチャされるとぼやけたレンダリング結果を生成し、テスト イメージが遠景で撮影されるとエイリアシング アーティファクトを生成します。この問題に対処するために、Mip-NeRF は、スケール情報をエンコードするための円錐台としてのマルチスケール表現を提案しています。それにもかかわらず、このアプローチは、多層パーセプトロン (MLP) をクエリする統合位置エンコーディング (IPE) に依存しているため、オフライン レンダリングにのみ適しています。この制限を克服するために、ミップ ボクセル グリッド (Mip-VoG) を提案します。これは、リアルタイムのアンチエイリアシング レンダリングのための遅延アーキテクチャを備えた明示的なマルチスケール表現です。私たちのアプローチには、シーン ジオメトリ用の密度 Mip-VoG と、ビューに依存する色用の小さな MLP を備えた機能 Mip-VoG が含まれます。 Mip-VoG は、レイ微分から導出された詳細レベル (LOD) を使用してシーン スケールをエンコードし、クアドリリニア補間を使用して、クエリされた 3D 位置を、2 つの隣接するダウンサンプリングされたボクセル グリッドから特徴と密度にマッピングします。私たちの知る限り、私たちのアプローチは、マルチスケール トレーニングとリアルタイムのアンチエイリアシング レンダリングを同時に提供する最初の方法です。マルチスケール データセットで実験を行った結果、私たちのアプローチが最先端のリアルタイム レンダリング ベースラインよりも優れていることがわかりました。
The rendering scheme in neural radiance field (NeRF) is effective in rendering a pixel by casting a ray into the scene. However, NeRF yields blurred rendering results when the training images are captured at non-uniform scales, and produces aliasing artifacts if the test images are taken in distant views. To address this issue, Mip-NeRF proposes a multiscale representation as a conical frustum to encode scale information. Nevertheless, this approach is only suitable for offline rendering since it relies on integrated positional encoding (IPE) to query a multilayer perceptron (MLP). To overcome this limitation, we propose mip voxel grids (Mip-VoG), an explicit multiscale representation with a deferred architecture for real-time anti-aliasing rendering. Our approach includes a density Mip-VoG for scene geometry and a feature Mip-VoG with a small MLP for view-dependent color. Mip-VoG encodes scene scale using the level of detail (LOD) derived from ray differentials and uses quadrilinear interpolation to map a queried 3D location to its features and density from two neighboring downsampled voxel grids. To our knowledge, our approach is the first to offer multiscale training and real-time anti-aliasing rendering simultaneously. We conducted experiments on multiscale datasets, and the results show that our approach outperforms state-of-the-art real-time rendering baselines.
updated: Mon Sep 18 2023 10:57:33 GMT+0000 (UTC)
published: Thu Apr 20 2023 04:05:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト