arXiv reaDer
LPFF: 大きなポーズにまたがるフェイス ジェネレーター用のポートレート データセット
LPFF: A Portrait Dataset for Face Generators Across Large Poses
近年、ジェネレーティブ ネットワークを使用した 2D のリアルな顔画像と 3D の顔形状の作成が話題になっています。既存のフェイス ジェネレーターは、(正面の顔に関して) 小さいポーズから中程度のポーズの顔では優れたパフォーマンスを発揮しますが、大きなポーズではリアルな結果を生成するのに苦労しています。 3D 認識ジェネレーターでの大きなポーズでの歪んだレンダリング結果は、生成された 3D 顔の形状が実際の 3D 顔の分布からかけ離れていることをさらに示しています。上記の問題は、トレーニング データセットの姿勢の不均衡が原因であることがわかりました。この論文では、19,590 枚の高品質の実際の大きなポーズのポートレート画像で構成される大きなポーズの Flickr 顔データセットである LPFF を紹介します。データセットを利用して、大きなポーズの顔画像を処理できる 2D 顔ジェネレーターと、リアルな人間の顔のジオメトリを生成できる 3D 認識ジェネレーターをトレーニングします。姿勢条件付き 3D 認識ジェネレーターをより適切に検証するために、3D レベルのパフォーマンスを評価するための新しい FID 測定を開発します。この新しい FID 測定とその他の実験を通じて、LPFF が 2D 顔ジェネレーターが潜在空間を拡張し、大きなポーズ データをより適切に操作するのに役立ち、3D 認識顔ジェネレーターがより優れたビューの一貫性とより現実的な 3D 再構成結果を達成するのに役立つことを示します。
The creation of 2D realistic facial images and 3D face shapes using generative networks has been a hot topic in recent years. Existing face generators exhibit exceptional performance on faces in small to medium poses (with respect to frontal faces) but struggle to produce realistic results for large poses. The distorted rendering results on large poses in 3D-aware generators further show that the generated 3D face shapes are far from the distribution of 3D faces in reality. We find that the above issues are caused by the training dataset's pose imbalance. In this paper, we present LPFF, a large-pose Flickr face dataset comprised of 19,590 high-quality real large-pose portrait images. We utilize our dataset to train a 2D face generator that can process large-pose face images, as well as a 3D-aware generator that can generate realistic human face geometry. To better validate our pose-conditional 3D-aware generators, we develop a new FID measure to evaluate the 3D-level performance. Through this novel FID measure and other experiments, we show that LPFF can help 2D face generators extend their latent space and better manipulate the large-pose data, and help 3D-aware face generators achieve better view consistency and more realistic 3D reconstruction results.
updated: Sat Mar 25 2023 09:07:36 GMT+0000 (UTC)
published: Sat Mar 25 2023 09:07:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト