arXiv reaDer
Revisiting Light Field Rendering with Deep Anti-Aliasing Neural Network
ライトフィールド(LF)の再構築は、主に2つの課題、大きな視差と非ランバート効果に直面しています。典型的なアプローチは、深度推定とそれに続くビュー合成を使用して大きな視差の課題に対処するか、明示的な深度情報を避けて非ランバートレンダリングを可能にしますが、統一されたフレームワークで両方の課題を解決することはめったにありません。このホワイトペーパーでは、従来のLFレンダリングフレームワークを再検討して、高度なディープラーニング手法を組み込むことで両方の課題に対処します。まず、大きな格差と非ランバートの課題の背後にある本質的な問題がエイリアシングの問題であることを分析的に示します。従来のLFレンダリング手法では、通常、フーリエドメインの再構成フィルターを使用してエイリアシングを軽減しますが、ディープラーニングパイプライン内で実装するのは困難です。代わりに、画像ドメインでアンチエイリアシング再構成を実行するための代替フレームワークを導入し、エイリアシングの問題に対して同等の有効性を分析的に示します。次に、可能性を最大限に引き出すために、統合アーキテクチャとトレーニング可能なパラメータの設計を通じて、アンチエイリアシングフレームワークをディープニューラルネットワークに組み込みます。ネットワークは、通常のLFと非構造化LFを含む、固有のトレーニングセットを使用して、エンドツーエンドの最適化を通じてトレーニングされます。提案された深層学習パイプラインは、他の最先端のアプローチと比較して、大きな格差と非ランバートの課題の両方を解決する上で実質的な優位性を示しています。 LFのビュー補間に加えて、提案されたパイプラインがライトフィールドビューの外挿にも役立つことも示します。
The light field (LF) reconstruction is mainly confronted with two challenges, large disparity and the non-Lambertian effect. Typical approaches either address the large disparity challenge using depth estimation followed by view synthesis or eschew explicit depth information to enable non-Lambertian rendering, but rarely solve both challenges in a unified framework. In this paper, we revisit the classic LF rendering framework to address both challenges by incorporating it with advanced deep learning techniques. First, we analytically show that the essential issue behind the large disparity and non-Lambertian challenges is the aliasing problem. Classic LF rendering approaches typically mitigate the aliasing with a reconstruction filter in the Fourier domain, which is, however, intractable to implement within a deep learning pipeline. Instead, we introduce an alternative framework to perform anti-aliasing reconstruction in the image domain and analytically show comparable efficacy on the aliasing issue. To explore the full potential, we then embed the anti-aliasing framework into a deep neural network through the design of an integrated architecture and trainable parameters. The network is trained through end-to-end optimization using a peculiar training set, including regular LFs and unstructured LFs. The proposed deep learning pipeline shows a substantial superiority in solving both the large disparity and the non-Lambertian challenges compared with other state-of-the-art approaches. In addition to the view interpolation for an LF, we also show that the proposed pipeline also benefits light field view extrapolation.
updated: Wed Apr 28 2021 02:38:30 GMT+0000 (UTC)
published: Wed Apr 14 2021 12:03:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト