arXiv reaDer
StyleFusion: A Generative Model for Disentangling Spatial Segments
StyleGANの新しいマッピングアーキテクチャであるStyleFusionを紹介します。これは、入力として多数の潜在コードを受け取り、それらを単一のスタイルコードに融合します。結果のスタイルコードを事前にトレーニングされたStyleGANジェネレーターに挿入すると、各セマンティック領域が入力潜在コードの1つによって制御される単一の調和された画像が生成されます。事実上、StyleFusionは画像のもつれを解いた表現を生成し、生成された画像の各領域をきめ細かく制御します。さらに、生成された画像のグローバルな制御を容易にするために、特別な入力潜在コードが融合表現に組み込まれています。 StyleFusionは階層的な方法で動作し、各レベルは、画像領域のペア(たとえば、車体とホイール)のもつれを解く学習を担当します。結果として得られる学習された解きほぐしにより、ローカルのきめ細かいセマンティクス(顔の特徴など)とよりグローバルな特徴(ポーズや背景など)の両方を変更できるため、合成プロセスの柔軟性が向上します。自然な拡張として、StyleFusionを使用すると、必ずしも整列されていない領域のセマンティックを意識したクロスイメージミキシングを実行できます。最後に、StyleFusionを既存の編集手法と組み合わせて、編集をユーザーの関心領域にさらに忠実に制限する方法を示します。
We present StyleFusion, a new mapping architecture for StyleGAN, which takes as input a number of latent codes and fuses them into a single style code. Inserting the resulting style code into a pre-trained StyleGAN generator results in a single harmonized image in which each semantic region is controlled by one of the input latent codes. Effectively, StyleFusion yields a disentangled representation of the image, providing fine-grained control over each region of the generated image. Moreover, to help facilitate global control over the generated image, a special input latent code is incorporated into the fused representation. StyleFusion operates in a hierarchical manner, where each level is tasked with learning to disentangle a pair of image regions (e.g., the car body and wheels). The resulting learned disentanglement allows one to modify both local, fine-grained semantics (e.g., facial features) as well as more global features (e.g., pose and background), providing improved flexibility in the synthesis process. As a natural extension, StyleFusion enables one to perform semantically-aware cross-image mixing of regions that are not necessarily aligned. Finally, we demonstrate how StyleFusion can be paired with existing editing techniques to more faithfully constrain the edit to the user's region of interest.
updated: Thu Jul 15 2021 16:35:21 GMT+0000 (UTC)
published: Thu Jul 15 2021 16:35:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト