arXiv reaDer
合成面のメッシュ張力駆動式ベースのしわ
Mesh-Tension Driven Expression-Based Wrinkles for Synthetic Faces
現実的な顔の合成における最近の進歩により、顔に関連するさまざまなコンピューター ビジョン タスクで、合成トレーニング データが実際のデータを置き換えることができることが示されました。疑問が生じます:リアリズムはどれほど重要ですか?フォトリアリズムの追求は行き過ぎですか?この作品では、そうではないことを示しています。顔の表情に反応して動的な肌のしわを導入することで合成顔のリアリズムを高め、下流のコンピューター ビジョン タスクで大幅なパフォーマンスの向上を観察します。このようなしわを生成するための以前のアプローチでは、アイデンティティと表現全体にスケーリングするために非常にアーティストの努力が必要であるか、十分な忠実度で高周波の皮膚の詳細を再構築することができませんでした。私たちの主な貢献は、大規模で多様なデジタル ヒューマンのリアルなシワを生成するアプローチです。具体的には、メッシュ テンションの概念を形式化し、それを使用して、高品質の表現スキャンから可能なしわをアルベドおよびディスプレイスメント テクスチャ マップに集約します。合成時には、これらのマップを使用して、ソース スキャンで表現されていない式に対してもしわを生成します。さらに、圧縮された表現に起因する変形下でのモデル パフォーマンスのより微妙な指標を提供するために、300W-ウィンク評価サブセットと閉じた目とウィンクの Pexels データセットを導入します。
Recent advances in synthesizing realistic faces have shown that synthetic training data can replace real data for various face-related computer vision tasks. A question arises: how important is realism? Is the pursuit of photorealism excessive? In this work, we show otherwise. We boost the realism of our synthetic faces by introducing dynamic skin wrinkles in response to facial expressions and observe significant performance improvements in downstream computer vision tasks. Previous approaches for producing such wrinkles either required prohibitive artist effort to scale across identities and expressions or were not capable of reconstructing high-frequency skin details with sufficient fidelity. Our key contribution is an approach that produces realistic wrinkles across a large and diverse population of digital humans. Concretely, we formalize the concept of mesh-tension and use it to aggregate possible wrinkles from high-quality expression scans into albedo and displacement texture maps. At synthesis, we use these maps to produce wrinkles even for expressions not represented in the source scans. Additionally, to provide a more nuanced indicator of model performance under deformations resulting from compressed expressions, we introduce the 300W-winks evaluation subset and the Pexels dataset of closed eyes and winks.
updated: Tue Oct 11 2022 20:08:47 GMT+0000 (UTC)
published: Wed Oct 05 2022 18:00:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト