arXiv reaDer
事前トレーニング済みの拡散モデルを使用したクロスドメイン合成
Cross-domain Compositing with Pretrained Diffusion Models
拡散モデルにより、高品質の条件付き画像編集機能が可能になりました。私たちは彼らの兵器庫を拡大することを提案し、市販の拡散モデルが幅広いクロスドメイン合成タスクに使用できることを実証します。とりわけ、これらには、画像のブレンド、オブジェクトの没入、テクスチャの置換、さらには CG2Real の変換またはスタイライゼーションが含まれます。挿入されたオブジェクトに背景シーンから得られたコンテキスト情報を注入し、オブジェクトが受ける可能性のある変更の程度と種類を制御できるようにする、ローカライズされた反復的な改良スキームを採用しています。以前の研究とのさまざまな質的および量的比較を行い、注釈やトレーニングを必要とせずに、私たちの方法がより高品質で現実的な結果を生み出すことを示します。最後に、ダウンストリーム タスクのデータ拡張にこの方法を使用する方法を示します。
Diffusion models have enabled high-quality, conditional image editing capabilities. We propose to expand their arsenal, and demonstrate that off-the-shelf diffusion models can be used for a wide range of cross-domain compositing tasks. Among numerous others, these include image blending, object immersion, texture-replacement and even CG2Real translation or stylization. We employ a localized, iterative refinement scheme which infuses the injected objects with contextual information derived from the background scene, and enables control over the degree and types of changes the object may undergo. We conduct a range of qualitative and quantitative comparisons to prior work, and exhibit that our method produces higher quality and realistic results without requiring any annotations or training. Finally, we demonstrate how our method may be used for data augmentation of downstream tasks.
updated: Thu May 25 2023 06:30:04 GMT+0000 (UTC)
published: Mon Feb 20 2023 18:54:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト