arXiv reaDer
暗黙の再投影ネットワークによる単眼の人間のデジタル化
Monocular Human Digitization via Implicit Re-projection Networks
画像から3D人間モデルを生成するためのアプローチを提示します。私たちのフレームワークの鍵は、片面の正投影深度マップとカラー画像を単一の透視投影画像から予測することです。私たちのフレームワークは3つのネットワークで構成されています。最初のネットワークは、法線マップを予測して、衣服や顔の領域のしわなどの幾何学的な詳細を復元します。 2番目のネットワークは、予測された法線マップを利用して、正面図と背面図の陰影除去画像を予測します。最後のマルチヘッドネットワークは、法線マップとシェードフリー画像の両方を取得し、マルチヘッドアテンションゲートを介して測光情報と幾何学的情報を選択的に融合しながら深度マップを予測します。実験結果は、私たちの方法が、最先端の方法よりもさまざまな評価指標に関して、視覚的にもっともらしい結果と競争力のあるパフォーマンスを示していることを示しています。
We present an approach to generating 3D human models from images. The key to our framework is that we predict double-sided orthographic depth maps and color images from a single perspective projected image. Our framework consists of three networks. The first network predicts normal maps to recover geometric details such as wrinkles in the clothes and facial regions. The second network predicts shade-removed images for the front and back views by utilizing the predicted normal maps. The last multi-headed network takes both normal maps and shade-free images and predicts depth maps while selectively fusing photometric and geometric information through multi-headed attention gates. Experimental results demonstrate that our method shows visually plausible results and competitive performance in terms of various evaluation metrics over state-of-the-art methods.
updated: Fri May 13 2022 06:53:05 GMT+0000 (UTC)
published: Fri May 13 2022 06:53:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト