arXiv reaDer
Generative Adversarial Networksによる効率的なヘアスタイル転送
Efficient Hair Style Transfer with Generative Adversarial Networks
Generative Adversarial Networks (GAN) を使用した画像生成とスタイル転送の最近の成功にもかかわらず、野生の状態での人間の髪の形状とスタイルの多様性により、髪の合成とスタイル転送は依然として困難です。現在の最先端のヘア合成アプローチは、ターゲット スタイルの全体的な構成を維持するのに苦労しており、高解像度のポートレート画像のランニング コストが高いため、リアルタイム アプリケーションでは使用できません。したがって、EHGAN と呼ばれる新しいヘアスタイル転送方法を提案します。これは、他の最先端のヘア合成方法と比較して、より優れたグローバル構造を持つヘアスタイルの転送を改善しながら、リアルタイム処理を可能にするために計算コストを削減します。この目標を達成するために、エンコーダーと低解像度ジェネレーターをトレーニングしてヘアスタイルを転送し、事前トレーニング済みの超解像度モデルを使用して結果の解像度を上げます。アダプティブ インスタンス ノーマライゼーション (AdaIN) を利用し、新しいヘア ブレンディング ブロック (HBB) を設計して、ジェネレーターの最高のパフォーマンスを実現します。 EHGAN は、最先端の MichiGAN および LOHO メソッドよりもそれぞれ約 2.7 倍および 10,000 倍少ない時間消費を必要とし、競合他社よりも優れたフォトリアリズムと目的のスタイルへの構造的類似性を取得します。
Despite the recent success of image generation and style transfer with Generative Adversarial Networks (GANs), hair synthesis and style transfer remain challenging due to the shape and style variability of human hair in in-the-wild conditions. The current state-of-the-art hair synthesis approaches struggle to maintain global composition of the target style and cannot be used in real-time applications due to their high running costs on high-resolution portrait images. Therefore, We propose a novel hairstyle transfer method, called EHGAN, which reduces computational costs to enable real-time processing while improving the transfer of hairstyle with better global structure compared to the other state-of-the-art hair synthesis methods. To achieve this goal, we train an encoder and a low-resolution generator to transfer hairstyle and then, increase the resolution of results with a pre-trained super-resolution model. We utilize Adaptive Instance Normalization (AdaIN) and design our novel Hair Blending Block (HBB) to obtain the best performance of the generator. EHGAN needs around 2.7 times and over 10,000 times less time consumption than the state-of-the-art MichiGAN and LOHO methods respectively while obtaining better photorealism and structural similarity to the desired style than its competitors.
updated: Sat Oct 22 2022 18:56:16 GMT+0000 (UTC)
published: Sat Oct 22 2022 18:56:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト