arXiv reaDer
単一の 2K 解像度画像からの忠実度の高い 3D ヒューマン デジタル化
High-fidelity 3D Human Digitization from Single 2K Resolution Images
高品質の 3D 人体再構成には、忠実度の高い大規模なトレーニング データと、高解像度の入力画像を効果的に活用する適切なネットワーク設計が必要です。これらの問題に取り組むために、大規模な 2K 人物データセットを構築し、2K 解像度の画像から 3D 人物モデルを推測する 2K2K と呼ばれる、シンプルかつ効果的な 3D 人物デジタル化手法を提案します。提案された方法は、人間の全体的な形状とその詳細を別々に復元します。低解像度の深度ネットワークは、低解像度の画像から全体的な構造を予測し、部分的な画像から法線へのネットワークは、3D 人体構造の詳細を予測します。高解像度の深度ネットワークは、グローバル 3D 形状と詳細な構造をマージして、高解像度の前面と背面の深度マップを推測します。最後に、市販のメッシュ ジェネレーターが完全な 3D 人体モデルを再構築します。これは https://github.com/SangHunHan92/2K2K で入手できます。さらに、テクスチャ マップ、3D 関節、および研究目的の SMPL パラメータを含む 2,050 の 3D 人体モデルも提供しています。実験では、さまざまなデータセットでの最近の作業に対して競争力のあるパフォーマンスを示しています。
High-quality 3D human body reconstruction requires high-fidelity and large-scale training data and appropriate network design that effectively exploits the high-resolution input images. To tackle these problems, we propose a simple yet effective 3D human digitization method called 2K2K, which constructs a large-scale 2K human dataset and infers 3D human models from 2K resolution images. The proposed method separately recovers the global shape of a human and its details. The low-resolution depth network predicts the global structure from a low-resolution image, and the part-wise image-to-normal network predicts the details of the 3D human body structure. The high-resolution depth network merges the global 3D shape and the detailed structures to infer the high-resolution front and back side depth maps. Finally, an off-the-shelf mesh generator reconstructs the full 3D human model, which are available at https://github.com/SangHunHan92/2K2K. In addition, we also provide 2,050 3D human models, including texture maps, 3D joints, and SMPL parameters for research purposes. In experiments, we demonstrate competitive performance over the recent works on various datasets.
updated: Mon Mar 27 2023 11:22:54 GMT+0000 (UTC)
published: Mon Mar 27 2023 11:22:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト