arXiv reaDer
ピクトリアル マップ上の人物像から暗黙の 3D 表現を推測する
Inferring Implicit 3D Representations from Human Figures on Pictorial Maps
この作品では、絵画地図で最も頻繁に登場するエンティティの 1 つである人物像を 3 次元に持ち込むための自動化されたワークフローを紹介します。私たちのワークフローは、写真から実際の人間を単一ビューで 3D 再構成するためのトレーニング データとニューラル ネットワークに基づいています。最初に、完全に接続されたレイヤーで構成されるネットワークに、2D ポーズ ポイントの深度座標を推定させます。得られた 3D ポーズ ポイントは、3D 符号付き距離フィールド (SDF) を推測するために、身体部分の 2D マスクと共にディープ インプリシット サーフェス ネットワークに入力されます。すべての体の部分を組み立てることで、さまざまなビューのフィギュア全体の 2D 深度画像と体の部分のマスクを導き出し、これらを完全な畳み込みネットワークに入力して UV 画像を予測します。これらの UV 画像と指定されたパースペクティブのテクスチャは、生成ネットワークに挿入され、他のビューのテクスチャが修復されます。テクスチャはカートゥーン化ネットワークによって強化され、顔の詳細はオートエンコーダーによって再合成されます。最後に、生成されたテクスチャは、レイ マーチャで推定された体の部分に割り当てられます。いくつかのネットワーク構成を検証した後、12 の人物像を使用してワークフローをテストします。作成された 3D モデルは、特にシルエットベースの 3D 復元と暗黙的な SDF のリアルタイム レンダリングの課題を考慮すると、一般的に有望に見えます。ボディパーツ間のギャップを減らし、テクスチャに絵のようなディテールを追加するには、さらなる改善が必要です。全体として、構築された図は、デジタル 3D マップのアニメーションやストーリーテリングに使用できます。
In this work, we present an automated workflow to bring human figures, one of the most frequently appearing entities on pictorial maps, to the third dimension. Our workflow is based on training data and neural networks for single-view 3D reconstruction of real humans from photos. We first let a network consisting of fully connected layers estimate the depth coordinate of 2D pose points. The gained 3D pose points are inputted together with 2D masks of body parts into a deep implicit surface network to infer 3D signed distance fields (SDFs). By assembling all body parts, we derive 2D depth images and body part masks of the whole figure for different views, which are fed into a fully convolutional network to predict UV images. These UV images and the texture for the given perspective are inserted into a generative network to inpaint the textures for the other views. The textures are enhanced by a cartoonization network and facial details are resynthesized by an autoencoder. Finally, the generated textures are assigned to the inferred body parts in a ray marcher. We test our workflow with 12 pictorial human figures after having validated several network configurations. The created 3D models look generally promising, especially when considering the challenges of silhouette-based 3D recovery and real-time rendering of the implicit SDFs. Further improvement is needed to reduce gaps between the body parts and to add pictorial details to the textures. Overall, the constructed figures may be used for animation and storytelling in digital 3D maps.
updated: Sat Mar 25 2023 17:44:40 GMT+0000 (UTC)
published: Tue Aug 30 2022 19:29:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト