arXiv reaDer
Gen-NeRF: アルゴリズムとハードウェアの協調設計による効率的で一般化可能な神経放射場
Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design
新しいビュー合成は、さまざまな拡張現実 (AR/VR) および仮想現実 (AR/VR) アプリケーションで没入型の体験を可能にするために不可欠な機能です。一般化可能なニューラル ラディアンス フィールド (NeRF) は、クロスシーンの一般化機能のおかげで人気が高まっています。その約束にもかかわらず、一般化可能な NeRF の実際のデバイス展開は、シーンの特徴を取得するために大量のメモリ アクセスが必要なため、法外な複雑さによってボトルネックになり、レイ マーチング プロセスがメモリに制限されます。この目的のために、一般化可能な NeRF アクセラレーション専用のアルゴリズムとハードウェアの協調設計フレームワークである Gen-NeRF を提案します。これは、リアルタイムで一般化可能な NeRF を初めて可能にします。アルゴリズム側では、Gen-NeRF は、3D シーンのさまざまな領域がレンダリングされたピクセルに異なる影響を与えるという事実を活用して、疎でありながら効果的なサンプリングを可能にする、粗い後にフォーカスするサンプリング戦略を統合します。ハードウェア側では、Gen-NeRF は、エピポーラの幾何学的関係を利用して、さまざまな光線間でのデータ再利用の機会を最大化するアクセラレータ マイクロアーキテクチャを強調しています。さらに、当社の Gen-NeRF アクセラレータは、ポイントからハードウェアへのマッピング中にデータの局所性を強化するカスタマイズされたデータフローと、メモリ バンクの競合を最小限に抑える最適化されたシーン機能ストレージ戦略を備えています。広範な実験により、リアルタイムで一般化可能な新しいビュー合成を可能にする、提案された Gen-NeRF フレームワークの有効性が検証されます。
Novel view synthesis is an essential functionality for enabling immersive experiences in various Augmented- and Virtual-Reality (AR/VR) applications, for which generalizable Neural Radiance Fields (NeRFs) have gained increasing popularity thanks to their cross-scene generalization capability. Despite their promise, the real-device deployment of generalizable NeRFs is bottlenecked by their prohibitive complexity due to the required massive memory accesses to acquire scene features, causing their ray marching process to be memory-bounded. To this end, we propose Gen-NeRF, an algorithm-hardware co-design framework dedicated to generalizable NeRF acceleration, which for the first time enables real-time generalizable NeRFs. On the algorithm side, Gen-NeRF integrates a coarse-then-focus sampling strategy, leveraging the fact that different regions of a 3D scene contribute differently to the rendered pixel, to enable sparse yet effective sampling. On the hardware side, Gen-NeRF highlights an accelerator micro-architecture to maximize the data reuse opportunities among different rays by making use of their epipolar geometric relationship. Furthermore, our Gen-NeRF accelerator features a customized dataflow to enhance data locality during point-to-hardware mapping and an optimized scene feature storage strategy to minimize memory bank conflicts. Extensive experiments validate the effectiveness of our proposed Gen-NeRF framework in enabling real-time and generalizable novel view synthesis.
updated: Mon Jan 15 2024 02:18:49 GMT+0000 (UTC)
published: Mon Apr 24 2023 06:22:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト