画像ベースのヘッド交換タスクは、ソース ヘッドを別のソース ボディに完璧にステッチすることを目的としています。このめったに研究されていないタスクは、2 つの大きな課題に直面しています。1) シームレスな移行領域を生成しながら、さまざまなソースから頭と体を保存すること。 2) これまでのところ、ペアになったヘッド スワッピング データセットとベンチマークはありません。本稿では、潜在拡散モデル(LDM)と意味論的レイアウトジェネレータから構成されるヘッドスワッピングのための意味論的混合拡散モデル(HS-Diffusion)を提案する。ソースヘッドとソースボディのセマンティックレイアウトをブレンドし、セマンティックレイアウトジェネレーターによって遷移領域を修復して、粗粒度のヘッドスワッピングを実現します。セマンティックミキシング LDM では、プログレッシブ フュージョン プロセスによる条件としてペイントされたレイアウトを使用したきめ細かい頭部の交換をさらに実装でき、同時に高品質の再構築で頭と体を維持できます。この目的を達成するために、自然な修復のためのセマンティック キャリブレーション戦略と、幾何学的なリアリズムのためのネック アライメントを提案します。重要なのは、新しい画像ベースのヘッド スワッピング ベンチマークを構築し、2 つの特別に設計されたメトリクス (Mask-FID と Focal-FID) を設計していることです。広範な実験により、私たちのフレームワークの優位性が実証されました。コードは https://github.com/qinghew/HS-Diffusion から入手できます。
Image-based head swapping task aims to stitch a source head to another source body flawlessly. This seldom-studied task faces two major challenges: 1) Preserving the head and body from various sources while generating a seamless transition region. 2) No paired head swapping dataset and benchmark so far. In this paper, we propose a semantic-mixing diffusion model for head swapping (HS-Diffusion) which consists of a latent diffusion model (LDM) and a semantic layout generator. We blend the semantic layouts of source head and source body, and then inpaint the transition region by the semantic layout generator, achieving a coarse-grained head swapping. Semantic-mixing LDM can further implement a fine-grained head swapping with the inpainted layout as condition by a progressive fusion process, while preserving head and body with high-quality reconstruction. To this end, we propose a semantic calibration strategy for natural inpainting and a neck alignment for geometric realism. Importantly, we construct a new image-based head swapping benchmark and design two tailor-designed metrics (Mask-FID and Focal-FID). Extensive experiments demonstrate the superiority of our framework. The code will be available: https://github.com/qinghew/HS-Diffusion.