arXiv reaDer
3D Human Mesh Regression with Dense Correspondence
単一の2D画像から人体の3Dメッシュを推定することは、拡張現実やヒューマンロボットインタラクションなどの多くのアプリケーションで重要なタスクです。ただし、これまでの研究では、畳み込みニューラルネットワーク(CNN)を使用して抽出されたグローバルな画像の特徴から3Dメッシュを再構築しました。このペーパーでは、メッシュとUV空間(つまり、3Dメッシュのテクスチャマッピングに使用される2D空間)のローカル画像機能との間の密な対応を明示的に確立する、DecoMRという名前のモデルフリー3D人間メッシュ推定フレームワークを提案します。 DecoMRは最初に、ピクセルからサーフェスへの密な対応マップ(つまり、IUV画像)を予測します。これを使用して、ローカルフィーチャを画像空間からUV空間に転送します。次に、転送されたローカル画像の特徴がUV空間で処理されて、転送された特徴とよく整合したロケーションマップが後退します。最後に、事前定義されたマッピング関数を使用して、回帰ロケーションマップから3D人間メッシュを再構築します。また、既存の不連続なUVマップはネットワークの学習に不向きであることがわかります。したがって、元のメッシュサーフェス上の隣接関係のほとんどを維持する新しいUVマップを提案します。実験は、提案されたローカルフィーチャアライメントと連続UVマップが、複数のパブリックベンチマークで既存の3Dメッシュベースの方法よりも優れていることを示しています。コードはで利用できるようになります
Estimating 3D mesh of the human body from a single 2D image is an important task with many applications such as augmented reality and Human-Robot interaction. However, prior works reconstructed 3D mesh from global image feature extracted by using convolutional neural network (CNN), where the dense correspondences between the mesh surface and the image pixels are missing, leading to suboptimal solution. This paper proposes a model-free 3D human mesh estimation framework, named DecoMR, which explicitly establishes the dense correspondence between the mesh and the local image features in the UV space (i.e. a 2D space used for texture mapping of 3D mesh). DecoMR first predicts pixel-to-surface dense correspondence map (i.e., IUV image), with which we transfer local features from the image space to the UV space. Then the transferred local image features are processed in the UV space to regress a location map, which is well aligned with transferred features. Finally we reconstruct 3D human mesh from the regressed location map with a predefined mapping function. We also observe that the existing discontinuous UV map are unfriendly to the learning of network. Therefore, we propose a novel UV map that maintains most of the neighboring relations on the original mesh surface. Experiments demonstrate that our proposed local feature alignment and continuous UV map outperforms existing 3D mesh based methods on multiple public benchmarks. Code will be made available at
updated: Sun Jun 06 2021 13:00:47 GMT+0000 (UTC)
published: Wed Jun 10 2020 08:50:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト