arXiv reaDer
Geo-NI:ライトフィールドレンダリングのためのジオメトリを意識したニューラル補間
Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering
この論文では、ライトフィールドレンダリングのためのジオメトリ対応ニューラル補間(Geo-NI)フレームワークを紹介します。以前の学習ベースのアプローチは、ニューラルネットワークの機能に依存して直接補間を実行するか(Neural Interpolation(NI)と呼んでいます)、または深度画像ベースのレンダリング(DIBR)としても知られる新しいビュー合成のためにシーンジオメトリを探索します。代わりに、新しいDIBRパイプラインを使用してNIを起動することにより、これら2種類のアプローチの背後にあるアイデアを取り入れています。具体的には、提案されたGeo-NIは、最初に、一連の深度仮説によってせん断された入力ライトフィールドを使用してNIを実行します。次に、DIBRは、さまざまな深度仮説の下での再構成品質に応じて、新しい再構成コストボリュームでせん断されたライトフィールドを割り当てることによって実装されます。再構成コストは、深さ仮説の次元に沿って再構成されたライトフィールドをブレンドすることにより、最終的な出力ライトフィールドをレンダリングするためのブレンディングウェイトとして解釈されます。 NIとDIBRの優位性を組み合わせることにより、提案されたGeo-NIは、シーンジオメトリの助けを借りて大きな視差のあるビューをレンダリングすると同時に、深度があいまいになりがちな非ランバート効果を再構築できます。さまざまなデータセットでの広範な実験により、提案されたジオメトリ対応ライトフィールドレンダリングフレームワークの優れたパフォーマンスが実証されています。
In this paper, we present a Geometry-aware Neural Interpolation (Geo-NI) framework for light field rendering. Previous learning-based approaches either rely on the capability of neural networks to perform direct interpolation, which we dubbed Neural Interpolation (NI), or explore scene geometry for novel view synthesis, also known as Depth Image-Based Rendering (DIBR). Instead, we incorporate the ideas behind these two kinds of approaches by launching the NI with a novel DIBR pipeline. Specifically, the proposed Geo-NI first performs NI using input light field sheared by a set of depth hypotheses. Then the DIBR is implemented by assigning the sheared light fields with a novel reconstruction cost volume according to the reconstruction quality under different depth hypotheses. The reconstruction cost is interpreted as a blending weight to render the final output light field by blending the reconstructed light fields along the dimension of depth hypothesis. By combining the superiorities of NI and DIBR, the proposed Geo-NI is able to render views with large disparity with the help of scene geometry while also reconstruct non-Lambertian effect when depth is prone to be ambiguous. Extensive experiments on various datasets demonstrate the superior performance of the proposed geometry-aware light field rendering framework.
updated: Mon Jun 20 2022 12:25:34 GMT+0000 (UTC)
published: Mon Jun 20 2022 12:25:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト