arXiv reaDer
画像ベースのCLIPガイド付きエッセンス転送
Image-Based CLIP-Guided Essence Transfer
(i)ターゲット画像のテクスチャと色に一致するようにソース画像を操作するスタイル転送と、(ii)ソース画像を編集して高レベルのセマンティック属性を含めるエッセンス転送を区別します。ターゲットから。重要なのは、画像の本質を構成するセマンティック属性が画像ごとに異なる場合があることです。私たちのブレンディングオペレーターは、強力なStyleGANジェネレーターとCLIPのセマンティックエンコーダーを新しい方法で組み合わせ、両方の潜在空間で同時に加算します。その結果、顔認識ネットワークに依存することなく、アイデンティティの保持と高レベルの機能転送の両方を保証するメカニズムが実現します。私たちの方法の2つの変形を提示します。 1つ目は最適化に基づいており、2つ目は既存の反転エンコーダーを微調整してエッセンス抽出を実行します。広範な実験を通じて、スタイル転送、ドメイン適応、およびテキストベースのセマンティック編集の既存の方法に対するエッセンス転送の方法の優位性を示します。
We make the distinction between (i) style transfer, in which a source image is manipulated to match the textures and colors of a target image, and (ii) essence transfer, in which one edits the source image to include high-level semantic attributes from the target. Crucially, the semantic attributes that constitute the essence of an image may differ from image to image. Our blending operator combines the powerful StyleGAN generator and the semantic encoder of CLIP in a novel way that is simultaneously additive in both latent spaces, resulting in a mechanism that guarantees both identity preservation and high-level feature transfer without relying on a facial recognition network. We present two variants of our method. The first is based on optimization, while the second fine-tunes an existing inversion encoder to perform essence extraction. Through extensive experiments, we demonstrate the superiority of our methods for essence transfer over existing methods for style transfer, domain adaptation, and text-based semantic editing.
updated: Thu Mar 17 2022 19:45:20 GMT+0000 (UTC)
published: Sun Oct 24 2021 12:46:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト