arXiv reaDer
モデレーションを使用した表現力豊かな身体の協調的回帰
Collaborative Regression of Expressive Bodies using Moderation
画像から表現力豊かな人間を取り戻すことは、人間の行動を理解するために不可欠です。 3Dの体、顔、または手を推定する方法は、大幅に進歩しましたが、別々になっています。フェイスメソッドは、正確な3D形状と幾何学的詳細を復元しますが、タイトなトリミングが必要であり、極端なビューと低解像度で苦労します。全身メソッドは、さまざまなポーズや解像度に対して堅牢ですが、しわなどの詳細がなく、ラフな3D顔の形状のみを提供します。両方の世界を最大限に活用するために、1つの画像からリアルな顔のディテールを備えたアニメート可能な全身3Dアバターを生成するPIXIEを紹介します。このために、PIXIEは2つの重要な観察結果を使用します。まず、既存の作業では、身体、顔、手の専門家からの独立した見積もりを、それらを等しく信頼することによって組み合わせています。ピクシーは、専門家の自信に重きを置いて、専門家の機能を統合する新しいモデレーターを紹介します。すべてのパーツエキスパートは、SMPL-Xの共有シェイプスペースをすべてのボディパーツで使用して、全体に貢献できます。第二に、人間の形は性別と高い相関関係がありますが、既存の研究はこれを無視しています。トレーニング画像に男性、女性、または非バイナリのラベルを付け、PIXIEをトレーニングして、新しい形状損失を伴う「性別」の3D体型を推測します。 PIXIEは、3Dの体のポーズと形状のパラメーターに加えて、表情、照明、アルベド、3Dの顔の表面の変位を推定します。定量的および定性的評価は、ピクシーが最新技術よりも正確な全身形状と詳細な顔形状を推定することを示しています。モデルとコードはhttps://pixie.is.tue.mpg.deで入手できます。
Recovering expressive humans from images is essential for understanding human behavior. Methods that estimate 3D bodies, faces, or hands have progressed significantly, yet separately. Face methods recover accurate 3D shape and geometric details, but need a tight crop and struggle with extreme views and low resolution. Whole-body methods are robust to a wide range of poses and resolutions, but provide only a rough 3D face shape without details like wrinkles. To get the best of both worlds, we introduce PIXIE, which produces animatable, whole-body 3D avatars with realistic facial detail, from a single image. For this, PIXIE uses two key observations. First, existing work combines independent estimates from body, face, and hand experts, by trusting them equally. PIXIE introduces a novel moderator that merges the features of the experts, weighted by their confidence. All part experts can contribute to the whole, using SMPL-X's shared shape space across all body parts. Second, human shape is highly correlated with gender, but existing work ignores this. We label training images as male, female, or non-binary, and train PIXIE to infer "gendered" 3D body shapes with a novel shape loss. In addition to 3D body pose and shape parameters, PIXIE estimates expression, illumination, albedo and 3D facial surface displacements. Quantitative and qualitative evaluation shows that PIXIE estimates more accurate whole-body shape and detailed face shape than the state of the art. Models and code are available at https://pixie.is.tue.mpg.de.
updated: Fri Oct 15 2021 21:05:05 GMT+0000 (UTC)
published: Tue May 11 2021 18:55:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト