arXiv reaDer
NeRF の詳細: ビュー合成のためのサンプリングの学習
NeRF in detail: Learning to sample for view synthesis
ニューラル放射輝度フィールド (NeRF) メソッドは、印象的な新しいビュー合成パフォーマンスを示しています。コア アプローチは、レイに沿ってサンプリングされたポイントでニューラル ネットワークにクエリを実行して個々のレイをレンダリングし、サンプリングされたポイントの密度と色を取得し、レンダリング方程式を使用してこの情報を統合することです。高密度サンプリングは計算上不可能であるため、一般的な解決策は粗いサンプリングから細かいサンプリングを実行することです。この作業では、バニラの粗いものから細かいものへのアプローチの明確な制限に取り組んでいます。それはヒューリスティックに基づいており、目の前のタスクのためにエンド ツー エンドで訓練されていないということです。サンプルを提案することを学習する微分可能なモジュールと、細かいネットワークのためのそれらの重要性を紹介し、そのニューラル アーキテクチャの複数の選択肢を検討して比較します。提案モジュールをゼロからトレーニングすることは、監督がないために不安定になる可能性があるため、効果的な事前トレーニング戦略も提案されます。 「NeRF in details」(NeRF-ID) と名付けられたこのアプローチは、NeRF を超える優れたビュー合成品質と、合成 Blender ベンチマークの最先端、および実際の LLFF-NeRF シーンで同等以上のパフォーマンスを実現します。さらに、予測されたサンプルの重要度を活用することで、レンダリング品質を大幅に犠牲にすることなく、計算を 25% 節約できます。
Neural radiance fields (NeRF) methods have demonstrated impressive novel view synthesis performance. The core approach is to render individual rays by querying a neural network at points sampled along the ray to obtain the density and colour of the sampled points, and integrating this information using the rendering equation. Since dense sampling is computationally prohibitive, a common solution is to perform coarse-to-fine sampling. In this work we address a clear limitation of the vanilla coarse-to-fine approach -- that it is based on a heuristic and not trained end-to-end for the task at hand. We introduce a differentiable module that learns to propose samples and their importance for the fine network, and consider and compare multiple alternatives for its neural architecture. Training the proposal module from scratch can be unstable due to lack of supervision, so an effective pre-training strategy is also put forward. The approach, named `NeRF in detail' (NeRF-ID), achieves superior view synthesis quality over NeRF and the state-of-the-art on the synthetic Blender benchmark and on par or better performance on the real LLFF-NeRF scenes. Furthermore, by leveraging the predicted sample importance, a 25% saving in computation can be achieved without significantly sacrificing the rendering quality.
updated: Wed Jun 09 2021 17:59:10 GMT+0000 (UTC)
published: Wed Jun 09 2021 17:59:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト