arXiv reaDer
Single-image Full-body Human Relighting
全身の人間が写っている画像を自動的に再照明する単一画像データ駆動型の方法を紹介します。私たちのフレームワークは、事前に計算された放射輝度伝達(PRT)と球面調和関数(SH)照明を活用した現実的なシーン分解に基づいています。以前の作業とは対照的に、ランバート材料の仮定を解除し、データの拡散反射率と鏡面反射率を明示的にモデル化します。さらに、PRTベースの画像再構成のエラーを説明する追加の光依存残余項を導入します。 L1、対数、およびレンダリング損失の組み合わせを使用してトレーニングされた、PRTで実行される分解に合わせた新しい深層学習アーキテクチャを提案します。私たちのモデルは、合成画像と写真の両方で、全身の人間の再照明の最先端を上回っています。
We present a single-image data-driven method to automatically relight images with full-body humans in them. Our framework is based on a realistic scene decomposition leveraging precomputed radiance transfer (PRT) and spherical harmonics (SH) lighting. In contrast to previous work, we lift the assumptions on Lambertian materials and explicitly model diffuse and specular reflectance in our data. Moreover, we introduce an additional light-dependent residual term that accounts for errors in the PRT-based image reconstruction. We propose a new deep learning architecture, tailored to the decomposition performed in PRT, that is trained using a combination of L1, logarithmic, and rendering losses. Our model outperforms the state of the art for full-body human relighting both with synthetic images and photographs.
updated: Thu Jul 15 2021 11:34:03 GMT+0000 (UTC)
published: Thu Jul 15 2021 11:34:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト