arXiv reaDer
複合現実のためのディープニューラルネットワークを使用した空間的および色の一貫した環境照明推定
Spatially and color consistent environment lighting estimation using deep neural networks for mixed reality
一貫性のある複合現実(XR)環境の表現には、リアルタイムでの適切な実および仮想照明構成が必要です。実際のシナリオの照明を推定することは、依然として課題です。問題の不適切な性質のため、古典的な逆レンダリング手法は、単純な照明設定の問題に取り組みます。ただし、これらの仮定は、コンピュータグラフィックスおよびXRアプリケーションの現在の最先端技術を満たしていません。最近の多くの研究では、機械学習技術を使用して環境の光とシーンのマテリアルを推定することで問題を解決していますが、それらのほとんどはジオメトリまたは以前の知識に限定されています。このホワイトペーパーでは、シーンに関する以前の情報がない複合現実環境の複雑な照明を推定するためのCNNベースのモデルを紹介します。エリア照明を効率的に表現できる球面調和関数(SH)環境照明のセットを使用して、環境照明をモデル化します。 RGB画像を入力し、環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案します。以前のCNNベースの照明推定方法とは異なり、パラメーターの数を減らして高度に最適化されたディープニューラルネットワークアーキテクチャを使用することを提案します。これにより、現実世界のハイダイナミックレンジ(HDR)環境画像から高度に複雑な照明シナリオを学習できます。実験では、SH照明係数を比較すると、CNNアーキテクチャが平均二乗誤差(MSE)7.85e-04で環境照明を予測できることを示しています。さまざまな複合現実シナリオでモデルを検証します。さらに、実際のシーンのリライトを比較する定性的な結果を提示します。
The representation of consistent mixed reality (XR) environments requires adequate real and virtual illumination composition in real-time. Estimating the lighting of a real scenario is still a challenge. Due to the ill-posed nature of the problem, classical inverse-rendering techniques tackle the problem for simple lighting setups. However, those assumptions do not satisfy the current state-of-art in computer graphics and XR applications. While many recent works solve the problem using machine learning techniques to estimate the environment light and scene's materials, most of them are limited to geometry or previous knowledge. This paper presents a CNN-based model to estimate complex lighting for mixed reality environments with no previous information about the scene. We model the environment illumination using a set of spherical harmonics (SH) environment lighting, capable of efficiently represent area lighting. We propose a new CNN architecture that inputs an RGB image and recognizes, in real-time, the environment lighting. Unlike previous CNN-based lighting estimation methods, we propose using a highly optimized deep neural network architecture, with a reduced number of parameters, that can learn high complex lighting scenarios from real-world high-dynamic-range (HDR) environment images. We show in the experiments that the CNN architecture can predict the environment lighting with an average mean squared error (MSE) of 7.85e-04 when comparing SH lighting coefficients. We validate our model in a variety of mixed reality scenarios. Furthermore, we present qualitative results comparing relights of real-world scenes.
updated: Tue Aug 17 2021 23:03:55 GMT+0000 (UTC)
published: Tue Aug 17 2021 23:03:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト