フォトリアリスティックな仮想オブジェクトを写真に挿入するという目標のために、屋外照明推定の困難な問題を検討します。屋外の照明推定に関する既存の作業は、通常、シーンの照明を環境マップに単純化し、屋外のシーンで空間的に変化する照明効果を捉えることができません。この作業では、単一の画像から 5D HDR ライト フィールドを推定するニューラル アプローチと、リアリズムを促す画像ベースの損失を伴うエンドツーエンドのトレーニングを可能にする微分可能なオブジェクト挿入定式化を提案します。具体的には、極端な太陽の強さを処理する HDR スカイ ドームと、周囲のシーンの空間的に変化する外観をモデル化する体積照明表現を含む、屋外シーンに合わせたハイブリッド照明表現を設計します。推定された照明により、影を認識したオブジェクトの挿入は完全に微分可能であり、合成された画像に対する敵対的トレーニングを可能にし、照明予測に追加の監視信号を提供します。ハイブリッド照明表現が既存の屋外照明推定方法よりもパフォーマンスが高いことを実験的に示しています。さらに、自動運転アプリケーションに AR オブジェクトを挿入することの利点を示します。ここでは、拡張データでトレーニングすると、3D オブジェクト検出器のパフォーマンスが向上します。
We consider the challenging problem of outdoor lighting estimation for the goal of photorealistic virtual object insertion into photographs. Existing works on outdoor lighting estimation typically simplify the scene lighting into an environment map which cannot capture the spatially-varying lighting effects in outdoor scenes. In this work, we propose a neural approach that estimates the 5D HDR light field from a single image, and a differentiable object insertion formulation that enables end-to-end training with image-based losses that encourage realism. Specifically, we design a hybrid lighting representation tailored to outdoor scenes, which contains an HDR sky dome that handles the extreme intensity of the sun, and a volumetric lighting representation that models the spatially-varying appearance of the surrounding scene. With the estimated lighting, our shadow-aware object insertion is fully differentiable, which enables adversarial training over the composited image to provide additional supervisory signal to the lighting prediction. We experimentally demonstrate that our hybrid lighting representation is more performant than existing outdoor lighting estimation methods. We further show the benefits of our AR object insertion in an autonomous driving application, where we obtain performance gains for a 3D object detector when trained on our augmented data.