arXiv reaDer
Super-NeRF: NeRF 超解像のための一貫したビューの詳細生成
Super-NeRF: View-consistent Detail Generation for NeRF super-resolution
ニューラル ラディアンス フィールド (NeRF) は、3D シーンのモデリングと、忠実度の高い斬新なビューの合成において目覚ましい成功を収めました。ただし、既存の NeRF ベースの方法は、画像解像度を最大限に活用して新しいビューを生成することに重点を置いていますが、限られた入力解像度での詳細の生成についてはあまり考慮していません。画像の超解像の広範な使用と同様に、NeRF 超解像は 3D シーンの高解像度の暗黙的表現を生成する効果的な方法であり、大きな潜在的なアプリケーションを保持しています。これまでのところ、このような重要なトピックはまだ調査されていません。この論文では、低解像度の入力のみから高解像度の NeRF を生成するために、Super-NeRF という名前の NeRF 超解像法を提案します。マルチビューの低解像度画像が与えられると、Super-NeRF は一貫性を制御する超解像モジュールを構築して、NeRF のビューに一貫した高解像度の詳細を生成します。具体的には、低解像度の入力画像ごとに最適化可能な潜在コードが導入され、2D 超解像度画像が一貫性のある出力に収束するように制御されます。各低解像度画像の潜在コードは、ターゲットの Super-NeRF 表現と相乗的に最適化され、NeRF 構築に固有のビューの一貫性の制約を十分に活用します。合成、実世界、および AI によって生成された NeRF データセットに対する Super-NeRF の有効性を検証します。 Super-NeRF は、高解像度のディテール生成とクロスビューの一貫性において、最先端の NeRF 超解像性能を実現します。
The neural radiance field (NeRF) achieved remarkable success in modeling 3D scenes and synthesizing high-fidelity novel views. However, existing NeRF-based methods focus more on the make full use of the image resolution to generate novel views, but less considering the generation of details under the limited input resolution. In analogy to the extensive usage of image super-resolution, NeRF super-resolution is an effective way to generate the high-resolution implicit representation of 3D scenes and holds great potential applications. Up to now, such an important topic is still under-explored. In this paper, we propose a NeRF super-resolution method, named Super-NeRF, to generate high-resolution NeRF from only low-resolution inputs. Given multi-view low-resolution images, Super-NeRF constructs a consistency-controlling super-resolution module to generate view-consistent high-resolution details for NeRF. Specifically, an optimizable latent code is introduced for each low-resolution input image to control the 2D super-resolution images to converge to the view-consistent output. The latent codes of each low-resolution image are optimized synergistically with the target Super-NeRF representation to fully utilize the view consistency constraint inherent in NeRF construction. We verify the effectiveness of Super-NeRF on synthetic, real-world, and AI-generated NeRF datasets. Super-NeRF achieves state-of-the-art NeRF super-resolution performance on high-resolution detail generation and cross-view consistency.
updated: Wed Apr 26 2023 12:54:40 GMT+0000 (UTC)
published: Wed Apr 26 2023 12:54:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト