arXiv reaDer
SuperFront:低解像度から高解像度の正面顔合成まで
SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis
ディープラーニングのトピックをさらに進めるにつれて、他の顔ベースの生成タスクとともに、顔の回転の進歩がより頻繁になります。顔を合成することで印象的なマイルストーンが達成されたとしても、アイデンティティを維持することの重要性は実際に必要であり、見落とされるべきではありません。また、顔が不明瞭で、ポーズが重く、品質が低いデータの場合、難易度は高くなりません。既存の方法は、ポーズが変化するサンプルに焦点を合わせる傾向がありますが、データの品質が高いと仮定しています。極端なポーズの1つまたは複数の低解像度(LR)顔から、高品質でアイデンティティを保持する正面顔を生成する生成的敵対的ネットワーク(GAN)ベースのモデルを提案します。具体的には、SuperFront-GAN(SF-GAN)を提案し、さまざまなポーズでアイデンティティを保持した1対多のLR顔から高解像度(HR)の正面顔を合成します。超解像(SR)サイドビューモジュールをSF-GANに統合して、HR空間のサイドビューの識別情報と詳細を保持します。これにより、モデルは顔(眼周囲、鼻、および口の領域)。さらに、SF-GANは複数のLR面を入力として受け入れ、追加された各サンプルを改善します。ジェネレーターの直交制約を使用してパフォーマンスをさらに向上させ、冗長な潜在表現にペナルティを課し、学習した特徴空間を多様化します。定量的および定性的な結果は、SF-GANが他のものよりも優れていることを示しています。
Advances in face rotation, along with other face-based generative tasks, are more frequent as we advance further in topics of deep learning. Even as impressive milestones are achieved in synthesizing faces, the importance of preserving identity is needed in practice and should not be overlooked. Also, the difficulty should not be more for data with obscured faces, heavier poses, and lower quality. Existing methods tend to focus on samples with variation in pose, but with the assumption data is high in quality. We propose a generative adversarial network (GAN) -based model to generate high-quality, identity preserving frontal faces from one or multiple low-resolution (LR) faces with extreme poses. Specifically, we propose SuperFront-GAN (SF-GAN) to synthesize a high-resolution (HR), frontal face from one-to-many LR faces with various poses and with the identity-preserved. We integrate a super-resolution (SR) side-view module into SF-GAN to preserve identity information and fine details of the side-views in HR space, which helps model reconstruct high-frequency information of faces (i.e., periocular, nose, and mouth regions). Moreover, SF-GAN accepts multiple LR faces as input, and improves each added sample. We squeeze additional gain in performance with an orthogonal constraint in the generator to penalize redundant latent representations and, hence, diversify the learned features space. Quantitative and qualitative results demonstrate the superiority of SF-GAN over others.
updated: Mon Dec 07 2020 23:30:28 GMT+0000 (UTC)
published: Mon Dec 07 2020 23:30:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト