(a)全体的な陰影が変化し、(b)結果の画像がそのシーンの自然な画像のように見えるように、単一の画像で描かれたシーンを再照明する方法を示します。このような手順のアプリケーションには、トレーニングデータの生成とオーサリング環境の構築が含まれます。これを行うための素朴な方法は失敗します。 1つの理由は、シェーディングとアルベドが非常に強く関連していることです。たとえば、シェーディングの鋭い境界は、通常アルベドで見られる深さの不連続性に現れる傾向があります。同じシーンをさまざまな方法で照明することができ、確立された理論は、さまざまな照明が円錐(照明円錐)を形成することを示しています。新しい理論は、同様のシーンを使用して、特定のシーンに適用されるさまざまな照明を推定できることを示していますが、予想される誤差には限界があります。私たちの方法は、この理論を利用して、照明コーンの代入生成元の形で利用可能な照明フィールドの表現を推定します。私たちの手順は、高価な「逆グラフィックス」データセットを必要とせず、いかなる種類のグラウンドトゥルースデータも見ません。定性的評価は、この方法が柔らかい屋内の影を消去して復元し、シーンの周りの光を「操縦」できることを示唆しています。 FIDの新しいアプリケーションを使用したメソッドの要約定量評価を提供します。 FIDの拡張により、生成された画像ごとの評価が可能になります。さらに、ユーザー調査による定性的評価を提供し、私たちの方法がデータ拡張にうまく使用できる画像を生成することを示します。
We show how to relight a scene, depicted in a single image, such that (a) the overall shading has changed and (b) the resulting image looks like a natural image of that scene. Applications for such a procedure include generating training data and building authoring environments. Naive methods for doing this fail. One reason is that shading and albedo are quite strongly related; for example, sharp boundaries in shading tend to appear at depth discontinuities, which usually apparent in albedo. The same scene can be lit in different ways, and established theory shows the different lightings form a cone (the illumination cone). Novel theory shows that one can use similar scenes to estimate the different lightings that apply to a given scene, with bounded expected error. Our method exploits this theory to estimate a representation of the available lighting fields in the form of imputed generators of the illumination cone. Our procedure does not require expensive "inverse graphics" datasets, and sees no ground truth data of any kind. Qualitative evaluation suggests the method can erase and restore soft indoor shadows, and can "steer" light around a scene. We offer a summary quantitative evaluation of the method with a novel application of the FID. An extension of the FID allows per-generated-image evaluation. Furthermore, we offer qualitative evaluation with a user study, and show that our method produces images that can successfully be used for data augmentation.