arXiv reaDer
GlassesGAN:Synthetic Appearance Discovery とターゲット サブスペース モデリングを使用したアイウェアのパーソナライゼーション
GlassesGAN: Eyewear Personalization using Synthetic Appearance Discovery and Targeted Subspace Modeling
メガネのカスタム デザインのための新しい画像編集フレームワークである GlassesGAN を紹介します。これは、画質、編集のリアリズム、継続的なマルチスタイル編集機能の面で新しい基準を設定します。 GlassesGAN を使用した編集プロセスを容易にするために、ターゲット サブスペース モデリング (TSM) 手順を提案します。これは、事前トレーニング済み GAN ジェネレーターの潜在空間での (合成) 外観発見の新しいメカニズムに基づいて、眼鏡固有の (潜在的な) 編集フレームワークが利用できる部分空間。さらに、学習された編集の信頼性を向上させるために、構築された部分空間の明確に定義された部分に特定の入力画像の潜在的な表現を集中させる、外観に制約のある部分空間初期化 (SI) 手法も紹介します。 2 つの (多様な) 高解像度データセット (CelebA-HQ と SiblingsDB-HQf) で GlassesGAN をテストし、それを 3 つの最先端の競合他社、すなわち InterfaceGAN、GANSpace、および MaskGAN と比較します。報告された結果は、GlassGAN がすべての競合技術を確実に凌駕する一方で、競合他社では利用できない追加機能 (きめ細かなマルチスタイル編集など) を提供することを示しています。ソースコードは自由に利用できるようになります。
We present GlassesGAN, a novel image editing framework for custom design of glasses, that sets a new standard in terms of image quality, edit realism, and continuous multi-style edit capability. To facilitate the editing process with GlassesGAN, we propose a Targeted Subspace Modelling (TSM) procedure that, based on a novel mechanism for (synthetic) appearance discovery in the latent space of a pre-trained GAN generator, constructs an eyeglasses-specific (latent) subspace that the editing framework can utilize. Additionally, we also introduce an appearance-constrained subspace initialization (SI) technique that centers the latent representation of the given input image in the well-defined part of the constructed subspace to improve the reliability of the learned edits. We test GlassesGAN on two (diverse) high-resolution datasets (CelebA-HQ and SiblingsDB-HQf) and compare it to three state-of-the-art competitors, i.e., InterfaceGAN, GANSpace, and MaskGAN. The reported results show that GlassesGAN convincingly outperforms all competing techniques, while offering additional functionality (e.g., fine-grained multi-style editing) not available with any of the competitors. The source code will be made freely available.
updated: Fri Nov 18 2022 22:20:00 GMT+0000 (UTC)
published: Mon Oct 24 2022 16:03:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト