照明環境の多様性のため、既存の照明推定技術は、屋内または屋外環境で明示的に設計されています。メソッドは、シェーディングと強いキャスト シャドウを強調する正確なエネルギーを (たとえば、パラメトリック ライティング モデルを通じて) キャプチャすることに特に焦点を当てています。または、もっともらしい反射を優先するもっともらしいテクスチャを生成します(たとえば、GANを使用)。編集可能な照明機能を提供するアプローチが提案されていますが、これらは単純化された照明モデルを使用する傾向があり、リアリズムが制限されています。この作業では、文献におけるこれらの最近の傾向の間のギャップを埋めることを提案し、パラメトリック ライト モデルを 360° パノラマと組み合わせて、レンダリング エンジンで HDRI としてすぐに使用できる方法を提案します。通常の画像からのGANベースのLDRパノラマ外挿の最近の進歩を活用し、パラメトリック球状ガウスを使用してHDRに拡張します。これを実現するために、ジェネレーター全体に照明関連の機能を注入し、パノラマ生成プロセス内で元のシーンまたは編集されたシーンの照明を緊密に結合する新しい照明協調変調方法を導入します。私たちの表現では、ユーザーは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、編集とシームレスにブレンドしながら豊かで複雑な反射を提供できます。さらに、私たちの方法は屋内と屋外の環境を網羅し、ドメイン固有の方法と比較しても最先端の結果を示しています。
Because of the diversity in lighting environments, existing illumination estimation techniques have been designed explicitly on indoor or outdoor environments. Methods have focused specifically on capturing accurate energy (e.g., through parametric lighting models), which emphasizes shading and strong cast shadows; or producing plausible texture (e.g., with GANs), which prioritizes plausible reflections. Approaches which provide editable lighting capabilities have been proposed, but these tend to be with simplified lighting models, offering limited realism. In this work, we propose to bridge the gap between these recent trends in the literature, and propose a method which combines a parametric light model with 360° panoramas, ready to use as HDRI in rendering engines. We leverage recent advances in GAN-based LDR panorama extrapolation from a regular image, which we extend to HDR using parametric spherical gaussians. To achieve this, we introduce a novel lighting co-modulation method that injects lighting-related features throughout the generator, tightly coupling the original or edited scene illumination within the panorama generation process. In our representation, users can easily edit light direction, intensity, number, etc. to impact shading while providing rich, complex reflections while seamlessly blending with the edits. Furthermore, our method encompasses indoor and outdoor environments, demonstrating state-of-the-art results even when compared to domain-specific methods.