arXiv reaDer
Barbershop: セグメンテーション マスクを使用した GAN ベースの画像合成
Barbershop: GAN-based Image Compositing using Segmentation Masks
複数の画像の特徴をシームレスにブレンドすることは、照明、ジオメトリ、部分的なオクルージョンの複雑な関係が原因で、画像の異なる部分間の結合を引き起こすため、非常に困難です。 GAN に関する最近の作業により、リアルな髪や顔の合成が可能になりましたが、それらを結合して、まとまりのない画像パッチのセットではなく、単一のまとまりがあり、もっともらしい画像にすることは依然として困難です。 GAN反転に基づいて、特にヘアスタイルの転送の問題について、画像ブレンディングに対する新しい解決策を提示します。詳細の保存と空間情報の符号化に優れた画像ブレンド用の新しい潜在空間を提案し、共通のセグメンテーション マスクに適合するように画像をわずかに変更できる新しい GAN 埋め込みアルゴリズムを提案します。私たちの新しい表現により、複数の参照画像から、ほくろやしわなどの特定の詳細を含む視覚的特性を転送することができ、潜在空間で画像ブレンドを行うため、一貫した画像を合成することができます。私たちのアプローチは、他のアプローチに存在するアーティファクトのブレンドを回避し、グローバルに一貫した画像を見つけます。私たちの結果は、ユーザー調査で現在の最先端技術よりも大幅に改善されていることを示しており、ユーザーは 95% 以上の時間で当社のブレンド ソリューションを好んでいます。
Seamlessly blending features from multiple images is extremely challenging because of complex relationships in lighting, geometry, and partial occlusion which cause coupling between different parts of the image. Even though recent work on GANs enables synthesis of realistic hair or faces, it remains difficult to combine them into a single, coherent, and plausible image rather than a disjointed set of image patches. We present a novel solution to image blending, particularly for the problem of hairstyle transfer, based on GAN-inversion. We propose a novel latent space for image blending which is better at preserving detail and encoding spatial information, and propose a new GAN-embedding algorithm which is able to slightly modify images to conform to a common segmentation mask. Our novel representation enables the transfer of the visual properties from multiple reference images including specific details such as moles and wrinkles, and because we do image blending in a latent-space we are able to synthesize images that are coherent. Our approach avoids blending artifacts present in other approaches and finds a globally consistent image. Our results demonstrate a significant improvement over the current state of the art in a user study, with users preferring our blending solution over 95 percent of the time.
updated: Sat Oct 16 2021 18:51:36 GMT+0000 (UTC)
published: Wed Jun 02 2021 23:20:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト