arXiv reaDer
モデルベースとモデルフリーの人間の再構築の間のギャップを埋める
Bridge the Gap Between Model-based and Model-free Human Reconstruction
さまざまな衣服スタイルの体型は多様性と複雑性が高いため、単一の画像から人間の形状を直接推定することは困難です。モデルベースのアプローチのほとんどは、表面が滑らかすぎる最小限の服を着た体の形状とポーズを予測することに限定されています。細かい詳細なジオメトリをキャプチャしますが、モデルフリーの方法には固定メッシュトポロジがありません。これらの問題に対処するために、モデルベースとモデルフリーの人間の再構築の間のギャップを埋めることによって、新しいトポロジー保存人間の再構築アプローチを提案します。ピクセル整列陰関数曲面とグラフ畳み込みニューラルネットワークによって構築された明示的メッシュモデルを同時に予測するエンドツーエンドのニューラルネットワークを提示します。さらに、陰関数曲面とパラメトリックメッシュモデル間の頂点オフセットを推定するために、追加のグラフ畳み込みニューラルネットワークが採用されています。最後に、暗黙空間でニューラルネットワーク出力を改良するための効率的な暗黙登録方法を提案します。 DeepHumanデータセットでの実験は、私たちのアプローチが効果的であることを示しました。
It is challenging to directly estimate the geometry of human from a single image due to the high diversity and complexity of body shapes with the various clothing styles. Most of model-based approaches are limited to predict the shape and pose of a minimally clothed body with over-smoothing surface. Although capturing the fine detailed geometries, the model-free methods are lack of the fixed mesh topology. To address these issues, we propose a novel topology-preserved human reconstruction approach by bridging the gap between model-based and model-free human reconstruction. We present an end-to-end neural network that simultaneously predicts the pixel-aligned implicit surface and the explicit mesh model built by graph convolutional neural network. Moreover, an extra graph convolutional neural network is employed to estimate the vertex offsets between the implicit surface and parametric mesh model. Finally, we suggest an efficient implicit registration method to refine the neural network output in implicit space. Experiments on DeepHuman dataset showed that our approach is effective.
updated: Thu Sep 02 2021 06:41:47 GMT+0000 (UTC)
published: Fri Jun 11 2021 11:13:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト