2D 画像に基づくオブジェクトの合成は、通常、リアルな結果を生成するために、色の調和、ジオメトリの修正、影の生成などの複数の処理段階を含むため、困難な問題です。さらに、合成用のトレーニング データ ペアに注釈を付けるには、専門家によるかなりの手作業が必要であり、ほとんど拡張できません。したがって、生成モデルの最近の進歩により、この作業では、条件付き拡散モデルの力を活用することにより、オブジェクト合成のための自己監視フレームワークを提案します。私たちのフレームワークは、統一されたモデルでオブジェクトの合成タスクに全体的に対処し、手動のラベル付けを必要とせずに、生成されたオブジェクトの視点、ジオメトリ、色、および影を変換します。入力オブジェクトの特性を維持するために、カテゴリのセマンティクスとオブジェクトの外観を維持するのに役立つコンテンツ アダプターを導入します。ジェネレーターの忠実度を向上させるために、データ拡張方法がさらに採用されています。私たちの方法は、さまざまな実世界の画像に関するユーザー調査で、合成結果画像のリアリズムと忠実さの両方で関連するベースラインよりも優れています。
Object compositing based on 2D images is a challenging problem since it typically involves multiple processing stages such as color harmonization, geometry correction and shadow generation to generate realistic results. Furthermore, annotating training data pairs for compositing requires substantial manual effort from professionals, and is hardly scalable. Thus, with the recent advances in generative models, in this work, we propose a self-supervised framework for object compositing by leveraging the power of conditional diffusion models. Our framework can hollistically address the object compositing task in a unified model, transforming the viewpoint, geometry, color and shadow of the generated object while requiring no manual labeling. To preserve the input object's characteristics, we introduce a content adaptor that helps to maintain categorical semantics and object appearance. A data augmentation method is further adopted to improve the fidelity of the generator. Our method outperforms relevant baselines in both realism and faithfulness of the synthesized result images in a user study on various real-world images.