照明の調和を伴う前景オブジェクトを背景シーンに統合することは、コンピュータービジョンおよび拡張現実コミュニティにおいて重要ですが困難な作業です。既存の方法は、主に前景と背景の外観の一貫性、または前景オブジェクトの影の生成に焦点を当てています。これらは、グローバルな外観と照明の調和をほとんど考慮していません。本論文では、照明交換と集約問題としてシームレスな照明調和を定式化する。具体的には、まず物理ベースのレンダリング方法を適用して、さまざまなタイプの前景オブジェクトとさまざまな照明条件の背景シーンを含む、タスク用の大規模で高品質のデータセット(IHという名前)を構築します。次に、DIH-GANという名前の深い画像ベースの照明調和GANフレームワークを提案します。これは、マルチスケールの注意メカニズムと照明交換戦略を最大限に活用して、挿入された前景オブジェクトと対応する背景シーンの間のマッピング関係を直接推測します。一方、照明の調和の結果をさらに洗練するために、敵対的な学習戦略も使用します。私たちの方法は、前景オブジェクトの調和のとれた外観と照明を実現できるだけでなく、前景オブジェクトによって投影される魅力的な影を生成することもできます。 IHデータセットと実世界の画像の両方での包括的な実験は、提案されたDIH-GANが画像ベースのオブジェクト照明調和編集のための実用的で効果的なソリューションを提供し、最先端の方法に対する私たちの方法の優位性を検証することを示しています。 IHデータセットはhttps://github.com/zhongyunbao/Datasetで入手できます。
Integrating a foreground object into a background scene with illumination harmonization is an important but challenging task in computer vision and augmented reality community. Existing methods mainly focus on foreground and background appearance consistency or the foreground object shadow generation, which rarely consider global appearance and illumination harmonization. In this paper, we formulate seamless illumination harmonization as an illumination exchange and aggregation problem. Specifically, we firstly apply a physically-based rendering method to construct a large-scale, high-quality dataset (named IH) for our task, which contains various types of foreground objects and background scenes with different lighting conditions. Then, we propose a deep image-based illumination harmonization GAN framework named DIH-GAN, which makes full use of a multi-scale attention mechanism and illumination exchange strategy to directly infer mapping relationship between the inserted foreground object and the corresponding background scene. Meanwhile, we also use adversarial learning strategy to further refine the illumination harmonization result. Our method can not only achieve harmonious appearance and illumination for the foreground object but also can generate compelling shadow cast by the foreground object. Comprehensive experiments on both our IH dataset and real-world images show that our proposed DIH-GAN provides a practical and effective solution for image-based object illumination harmonization editing, and validate the superiority of our method against state-of-the-art methods. Our IH dataset is available at https://github.com/zhongyunbao/Dataset.