arXiv reaDer
HairStep: シングル ビュー 3D ヘア モデリング用のストランド マップとデプス マップを使用して、合成をリアルに変換
HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for Single-View 3D Hair Modeling
この作業では、学習ベースのシングル ビュー 3D ヘア モデリングの困難な問題に取り組みます。実際の画像と 3D ヘア データのペアを収集することは非常に困難であるため、合成データを使用して実際のドメインの事前知識を提供することが主要なソリューションになります。残念ながら、これはドメイン ギャップの課題をもたらします。現実的な髪のレンダリングには固有の難しさがあるため、既存の方法では通常、入力として髪の画像ではなく方向マップを使用してギャップを埋めます。中間表現が不可欠であると固く信じていますが、支配的なフィルタリングベースの方法を使用した方向マップは不確実なノイズに敏感であり、適切な表現とはほど遠いと主張しています。したがって、最初にこの問題を提起し、ストランド マップと深度マップで構成される、HairStep と呼ばれる新しい中間表現を提案します。 HairStep は、正確な 3D ヘア モデリングに十分な情報を提供するだけでなく、実際の画像から推測することも可能であることがわかりました。具体的には、2 種類の注釈を付けた 1,250 枚のポートレート画像のデータセットを収集します。学習フレームワークは、実際の画像をストランド マップと深度マップに転送するようにさらに設計されています。新しいデータセットの追加のボーナスは、3D ヘア モデリングの最初の定量的メトリックであることに注意してください。私たちの実験は、HairStep が合成と本物の間のドメイン ギャップを狭め、単一ビューの 3D ヘア再構成で最先端のパフォーマンスを達成することを示しています。
In this work, we tackle the challenging problem of learning-based single-view 3D hair modeling. Due to the great difficulty of collecting paired real image and 3D hair data, using synthetic data to provide prior knowledge for real domain becomes a leading solution. This unfortunately introduces the challenge of domain gap. Due to the inherent difficulty of realistic hair rendering, existing methods typically use orientation maps instead of hair images as input to bridge the gap. We firmly think an intermediate representation is essential, but we argue that orientation map using the dominant filtering-based methods is sensitive to uncertain noise and far from a competent representation. Thus, we first raise this issue up and propose a novel intermediate representation, termed as HairStep, which consists of a strand map and a depth map. It is found that HairStep not only provides sufficient information for accurate 3D hair modeling, but also is feasible to be inferred from real images. Specifically, we collect a dataset of 1,250 portrait images with two types of annotations. A learning framework is further designed to transfer real images to the strand map and depth map. It is noted that, an extra bonus of our new dataset is the first quantitative metric for 3D hair modeling. Our experiments show that HairStep narrows the domain gap between synthetic and real and achieves state-of-the-art performance on single-view 3D hair reconstruction.
updated: Sun Mar 05 2023 15:28:13 GMT+0000 (UTC)
published: Sun Mar 05 2023 15:28:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト