arXiv reaDer
効率的なビュー合成のための漸進的に接続されたライトフィールドネットワーク
Progressively-connected Light Field Network for Efficient View Synthesis
この論文は、複雑な前向きのシーンの新しいビュー合成のための、プログレッシブ接続されたライトフィールドネットワーク(ProLiF)を提示します。 ProLiFは4Dライトフィールドをエンコードします。これにより、画像レベルまたはパッチレベルの損失に対して1つのトレーニングステップで大量の光線をレンダリングできます。画像からニューラルライトフィールドを直接学習することは、基礎となる3Dジオメトリを認識しないため、マルチビューの一貫性のある画像をレンダリングするのが困難です。この問題に対処するために、プログレッシブトレーニングスキームと正則化損失を提案して、トレーニング中に基礎となるジオメトリを推測します。これらは両方とも、マルチビューの一貫性を強制し、レンダリング品質を大幅に向上させます。実験は、私たちの方法がバニラ神経ライトフィールドよりも大幅に優れたレンダリング品質を達成し、挑戦的なLLFFデータセットとシャイニーオブジェクトデータセットでNeRFのようなレンダリング方法に匹敵する結果を達成できることを示しています。さらに、さまざまな光条件に対するロバスト性を実現するためのLPIPS損失と、シーンのレンダリングスタイルを制御するためのCLIP損失とのより優れた互換性を示します。プロジェクトページ:https://totoro97.github.io/projects/prolif。
This paper presents a Progressively-connected Light Field network (ProLiF), for the novel view synthesis of complex forward-facing scenes. ProLiF encodes a 4D light field, which allows rendering a large batch of rays in one training step for image- or patch-level losses. Directly learning a neural light field from images has difficulty in rendering multi-view consistent images due to its unawareness of the underlying 3D geometry. To address this problem, we propose a progressive training scheme and regularization losses to infer the underlying geometry during training, both of which enforce the multi-view consistency and thus greatly improves the rendering quality. Experiments demonstrate that our method is able to achieve significantly better rendering quality than the vanilla neural light fields and comparable results to NeRF-like rendering methods on the challenging LLFF dataset and Shiny Object dataset. Moreover, we demonstrate better compatibility with LPIPS loss to achieve robustness to varying light conditions and CLIP loss to control the rendering style of the scene. Project page: https://totoro97.github.io/projects/prolif.
updated: Sun Jul 10 2022 13:47:20 GMT+0000 (UTC)
published: Sun Jul 10 2022 13:47:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト