arXiv reaDer
スタイルの問題のみ:スタイルベースの回帰モデルを使用した年齢変換
Only a Matter of Style: Age Transformation Using a Style-Based Regression Model
年齢変換のタスクは、時間の経過に伴う個人の外観の変化を示しています。入力された顔の画像上でこの複雑な変換を正確にモデル化することは、入力のアイデンティティを維持しながら、顔の特徴と頭の形に説得力のある、場合によっては大きな変更を加える必要があるため、非常に困難です。この作業では、特定の経年変化の影響を受ける事前トレーニング済みの無条件GAN(StyleGANなど)の潜在空間に実際の顔画像を直接エンコードすることを学習する画像から画像への変換方法を紹介します。事前にトレーニングされた年齢回帰ネットワークを使用して、目的の年齢に対応する潜在コードを生成する際にエンコーダーを明示的にガイドします。この定式化では、私たちの方法は、入力年齢と目的のターゲット年齢の間の回帰タスクとして連続エージングプロセスにアプローチし、生成された画像をきめ細かく制御します。さらに、年齢を制御するパスの事前分布を使用して潜在空間でのみ動作する他のアプローチとは異なり、私たちの方法は、より解きほぐされた非線形パスを学習します。最後に、StyleGANの豊富なセマンティック潜在空間と相まって、私たちのアプローチのエンドツーエンドの性質が、生成された画像のさらなる編集を可能にすることを示します。定性的および定量的評価は、最先端のアプローチと比較して、私たちの方法の利点を示しています。
The task of age transformation illustrates the change of an individual's appearance over time. Accurately modeling this complex transformation over an input facial image is extremely challenging as it requires making convincing and possibly large changes to facial features and head shape, while still preserving the input identity. In this work, we present an image-to-image translation method that learns to directly encode real facial images into the latent space of a pre-trained unconditional GAN (e.g., StyleGAN) subject to a given aging shift. We employ a pre-trained age regression network used to explicitly guide the encoder in generating the latent codes corresponding to the desired age. In this formulation, our method approaches the continuous aging process as a regression task between the input age and desired target age, providing fine-grained control over the generated image. Moreover, unlike other approaches that operate solely in the latent space using a prior on the path controlling age, our method learns a more disentangled, non-linear path. Finally, we demonstrate that the end-to-end nature of our approach, coupled with the rich semantic latent space of StyleGAN, allows for further editing of the generated images. Qualitative and quantitative evaluations show the advantages of our method compared to state-of-the-art approaches.
updated: Thu Feb 04 2021 17:33:28 GMT+0000 (UTC)
published: Thu Feb 04 2021 17:33:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト