arXiv reaDer
新規ビュー合成のためのマルチプレーン ニューラル ラディアンス フィールド
Multi-Plane Neural Radiance Fields for Novel View Synthesis
新しいビューの合成は、新しいカメラの視点からシーンのフレームをレンダリングすることを中心に展開する長年の問題です。ボリューム アプローチは、カメラ錐台の明示的な 3D 表現を通じてオクルージョンをモデル化するためのソリューションを提供します。マルチプレーン イメージ (MPI) は、異なる深さで正面平行面を使用してシーンを表現するボリューム法ですが、2.D シーン表現につながる深さ離散化の影響を受けます。もう 1 つのアプローチは、暗黙的な 3D シーン表現に依存しています。 Neural Radiance Fields (NeRF) は、ニューラル ネットワークを利用して連続的な 3D シーン構造をネットワーク ウェイト内にカプセル化し、フォトリアリスティックな合成結果を実現しますが、方法はシーンごとの最適化設定に制約され、実際には非効率的です。 Multi-plane Neural Radiance Fields (MINE) は、暗示的および明示的なシーン表現を組み合わせるための扉を開きます。入力画像の特徴を利用してシーンごとの最適化を回避しながら、特に深度次元で連続的な 3D シーン表現を可能にします。この分野における現在の文献作業の主な欠点は、単一ビューの入力に制約されており、合成機能が狭い視点範囲に制限されていることです。この作業では、単一ビューの多平面ニューラル放射輝度フィールドのパフォーマンス、一般化、および効率を徹底的に調べます。さらに、複数のビューを受け入れて合成結果を改善し、表示範囲を拡大する新しいマルチプレーン NeRF アーキテクチャを提案します。入力ソース フレームからの機能は、提案された注意認識融合モジュールによって効果的に融合され、さまざまな視点から重要な情報が強調表示されます。実験は、マルチビュー NeRF および MPI 技術と比較した場合の、注意ベースの融合の有効性と、提案された方法の有望な結果を示しています。
Novel view synthesis is a long-standing problem that revolves around rendering frames of scenes from novel camera viewpoints. Volumetric approaches provide a solution for modeling occlusions through the explicit 3D representation of the camera frustum. Multi-plane Images (MPI) are volumetric methods that represent the scene using front-parallel planes at distinct depths but suffer from depth discretization leading to a 2.D scene representation. Another line of approach relies on implicit 3D scene representations. Neural Radiance Fields (NeRF) utilize neural networks for encapsulating the continuous 3D scene structure within the network weights achieving photorealistic synthesis results, however, methods are constrained to per-scene optimization settings which are inefficient in practice. Multi-plane Neural Radiance Fields (MINE) open the door for combining implicit and explicit scene representations. It enables continuous 3D scene representations, especially in the depth dimension, while utilizing the input image features to avoid per-scene optimization. The main drawback of the current literature work in this domain is being constrained to single-view input, limiting the synthesis ability to narrow viewpoint ranges. In this work, we thoroughly examine the performance, generalization, and efficiency of single-view multi-plane neural radiance fields. In addition, we propose a new multiplane NeRF architecture that accepts multiple views to improve the synthesis results and expand the viewing range. Features from the input source frames are effectively fused through a proposed attention-aware fusion module to highlight important information from different viewpoints. Experiments show the effectiveness of attention-based fusion and the promising outcomes of our proposed method when compared to multi-view NeRF and MPI techniques.
updated: Fri Mar 03 2023 06:32:55 GMT+0000 (UTC)
published: Fri Mar 03 2023 06:32:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト