arXiv reaDer
NEPHELE: 非常にリアルなクラウド ラディアンス レンダリングのためのニューラル プラットフォーム
NEPHELE: A Neural Platform for Highly Realistic Cloud Radiance Rendering
最近、写真のようにリアルなフリービュー合成のためのニューラル レンダリング (NR) の進歩、つまり NeRF に大きな進歩が見られました。しかし、単一のコンピューター/GPU に基づくローカル技術として、最高の設計の Instant-NGP または i-NGP でさえ、高解像度でレンダリングする場合、リアルタイム パフォーマンスに到達できず、多くの場合、巨大なローカル コンピューティング リソースを必要とします。この論文では、雲のレンダリングに頼り、非常にリアルな雲の放射輝度レンダリングのためのニューラル プラットフォームである NEPHELE を紹介します。既存の NR アプローチとはまったく対照的に、当社の NEPHELE は、複数のリモート GPU を組み合わせることでより強力なレンダリング機能を可能にし、複数の人が同じ NeRF シーンを同時に表示できるようにすることでコラボレーションを促進します。 i-NOLF を導入して、レイごとに 1 回のクエリで超高速ニューラル ラディアンス レンダリングに不透明ライト フィールドを採用します。さらに、高速レイ クエリ用のジオメトリ プロキシを備えた Lumigraph に似ており、その後、小さな MLP を使用して、高品質のレンダリングのためにローカルの不透明度ルミッシュパーをモデル化します。また、キャッシュの一貫性を高めるために、i-NOLF で完全な空間ハッシュを採用しています。その結果、i-NOLF は、特にクラウド レンダリング シナリオでのマルチユーザー マルチビューポイント設定で、i-NGP よりも効率の面で桁違いのパフォーマンス向上を実現します。 i-NOLF表現を伴うタスクスケジューラをさらに調整し、一連の協調モジュール、つまりレンダーファーム、タスクアサイナー、フレームコンポーザー、および詳細なストリーミング戦略で構成される包括的なクラウドプラットフォームを通じて、方法論的設計の進歩を実証します.このようなニューラル レンダリングと互換性のあるクラウド プラットフォームを使用して、クラウド VR/AR レンダリングに至る一連のアプリケーションを通じて、クラウド ラディアンス レンダリングの機能をさらに紹介します。
We have recently seen tremendous progress in neural rendering (NR) advances, i.e., NeRF, for photo-real free-view synthesis. Yet, as a local technique based on a single computer/GPU, even the best-engineered Instant-NGP or i-NGP cannot reach real-time performance when rendering at a high resolution, and often requires huge local computing resources. In this paper, we resort to cloud rendering and present NEPHELE, a neural platform for highly realistic cloud radiance rendering. In stark contrast with existing NR approaches, our NEPHELE allows for more powerful rendering capabilities by combining multiple remote GPUs and facilitates collaboration by allowing multiple people to view the same NeRF scene simultaneously. We introduce i-NOLF to employ opacity light fields for ultra-fast neural radiance rendering in a one-query-per-ray manner. We further resemble the Lumigraph with geometry proxies for fast ray querying and subsequently employ a small MLP to model the local opacity lumishperes for high-quality rendering. We also adopt Perfect Spatial Hashing in i-NOLF to enhance cache coherence. As a result, our i-NOLF achieves an order of magnitude performance gain in terms of efficiency than i-NGP, especially for the multi-user multi-viewpoint setting under cloud rendering scenarios. We further tailor a task scheduler accompanied by our i-NOLF representation and demonstrate the advance of our methodological design through a comprehensive cloud platform, consisting of a series of cooperated modules, i.e., render farms, task assigner, frame composer, and detailed streaming strategies. Using such a cloud platform compatible with neural rendering, we further showcase the capabilities of our cloud radiance rendering through a series of applications, ranging from cloud VR/AR rendering.
updated: Tue Mar 07 2023 17:47:33 GMT+0000 (UTC)
published: Tue Mar 07 2023 17:47:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト