arXiv reaDer
MixNeRF: 機能が混在したハッシュ テーブルを使用したメモリ効率の高い NeRF
MixNeRF: Memory Efficient NeRF with Feature Mixed-up Hash Table
ニューラル ラディアンス フィールド (NeRF) は、写真のようにリアルな斬新なビューを生成する際に優れたパフォーマンスを示しています。 NeRF の出現以来、多くの研究が行われてきましたが、その中でグリッドなどの明示的な構造を持つ機能を管理することで、多層パーセプトロン (MLP) ネットワークの複雑さを軽減することで、非常に高速なトレーニングを実現しました。ただし、密集したグリッドにフィーチャを格納するには、非常に大きなメモリ スペースが必要であり、これがコンピュータ システムのメモリ ボトルネックとなり、トレーニング時間が長くなります。この問題に対処するために、この作業では、MixNeRF を提案します。これは、混合ハッシュ テーブルを使用してメモリ効率を向上させ、再構築の品質を維持しながらトレーニング時間を短縮する、メモリ効率の高い NeRF フレームワークです。最初に、マルチレベル機能グリッドの一部を 1 つに適応的に混合し、それを単一のハッシュ テーブルにマッピングする混合ハッシュ テーブルを設計します。それに続いて、グリッド点の正しいインデックスを取得するために、任意のレベル グリッドのインデックスを正準グリッドのインデックスに変換するインデックス変換方法をさらに設計します。最先端の Instant-NGP、TensoRF、および DVGO を使用した広範な実験のベンチマークでは、MixNeRF が同じ GPU ハードウェアで、同等またはそれ以上の再構成品質で最速のトレーニング時間を達成できることが示されています。ソース コードは https://github.com/nfyfamr/MixNeRF で入手できます。
Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Since the emergence of NeRF, many studies have been conducted, among which managing features with explicit structures such as grids has achieved exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids requires significantly large memory space, which leads to memory bottleneck in computer systems and thus large training time. To address this issue, in this work, we propose MixNeRF, a memory-efficient NeRF framework that employs a mixed-up hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. We first design a mixed-up hash table to adaptively mix part of multi-level feature grids into one and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further design an index transformation method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MixNeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality. Source code is available at https://github.com/nfyfamr/MixNeRF.
updated: Tue Apr 25 2023 05:44:50 GMT+0000 (UTC)
published: Tue Apr 25 2023 05:44:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト