前景オブジェクトと背景シーンの間のシームレスな照明統合は、コンピュータビジョンと拡張現実コミュニティにおいて重要ですが挑戦的なタスクです。しかし、私たちの知る限り、照明のシームレスな統合タスクを満たす公的に利用可能な高品質のデータセットはなく、この研究の方向性の開発を大きく妨げています。この目的のために、物理ベースのレンダリング方法を適用して、IHデータセットという名前の大規模で高品質のデータセットを作成します。これにより、シームレスな照明統合タスクに豊富な照明情報が提供されます。さらに、深層学習ベースのSI-GAN法、マルチタスク協調ネットワークを提案します。これは、マルチスケール注意メカニズムと敵対的学習戦略を最大限に活用して、挿入された前景オブジェクトと対応する背景の間のマッピング関係を直接推測します。環境、および並列ネットワークで提案された照明交換メカニズムに従ってオブジェクト照明を編集します。これにより、3D幾何学的情報を明示的に推定することなく、シームレスな照明統合を実現できます。私たちのデータセットとインターネットから収集された実世界の画像の両方での包括的な実験は、提案されたSI-GANが画像ベースのオブジェクト照明編集のための実用的で効果的なソリューションを提供し、最新の状態に対する私たちの方法の優位性を検証することを示していますアートメソッド。
The seamless illumination integration between a foreground object and a background scene is an important but challenging task in computer vision and augmented reality community. However, to our knowledge, there is no publicly available high-quality dataset that meets the illumination seamless integration task, which greatly hinders the development of this research direction. To this end, we apply a physically-based rendering method to create a large-scale, high-quality dataset, named IH dataset, which provides rich illumination information for seamless illumination integration task. In addition, we propose a deep learning-based SI-GAN method, a multi-task collaborative network, which makes full use of the multi-scale attention mechanism and adversarial learning strategy to directly infer mapping relationship between the inserted foreground object and corresponding background environment, and edit object illumination according to the proposed illumination exchange mechanism in parallel network. By this means, we can achieve the seamless illumination integration without explicit estimation of 3D geometric information. Comprehensive experiments on both our dataset and real-world images collected from the Internet show that our proposed SI-GAN provides a practical and effective solution for image-based object illumination editing, and validate the superiority of our method against state-of-the-art methods.