arXiv reaDer
Uメッシュ:メッシュ畳み込みネットワークとの人間の対応のマッチング
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
3Dスキャン技術の急増により、特に人間の被験者の幾何学的データを解釈する方法の必要性が高まっています。この論文では、パラメトリックテンプレートモデルを生のスキャンメッシュに適合させるために、回帰(ボトムアップ)と生成(トップダウン)の方法のエレガントな融合を提案します。私たちの最初の主要な貢献は、テンプレート表面への点ごとの対応を予測する固有の畳み込みメッシュU-netアーキテクチャです。ソフト対応は、新しく構築されたデカルト空間の座標として定式化されます。ユークリッド近接として対応をモデル化すると、ネットワークトレーニングとアルゴリズムの次のステップの両方で効率的な最適化が可能になります。 2番目の貢献は、U-net対応予測を使用してパラメトリック反復最接近点登録をガイドする生成最適化アルゴリズムです。事前にトレーニングされた人間の表面パラメトリックモデルを採用することにより、ドメイン固有の事前知識を最大限に活用します。メッシュ畳み込みネットワークと生成モデルフィッティングの組み合わせにより、オクルージョン、部分性、さまざまな属(自己接触など)を含む実際の人間の表面スキャンの対応を予測できます。我々は、FAUST対応チャレンジで提案された方法を評価します。そこでは、被験者間(内部)対応のための最先端の方法よりも20%(33%)の改善が達成されます。
The proliferation of 3D scanning technology has driven a need for methods to interpret geometric data, particularly for human subjects. In this paper we propose an elegant fusion of regression (bottom-up) and generative (top-down) methods to fit a parametric template model to raw scan meshes. Our first major contribution is an intrinsic convolutional mesh U-net architecture that predicts pointwise correspondence to a template surface. Soft-correspondence is formulated as coordinates in a newly-constructed Cartesian space. Modeling correspondence as Euclidean proximity enables efficient optimization, both for network training and for the next step of the algorithm. Our second contribution is a generative optimization algorithm that uses the U-net correspondence predictions to guide a parametric Iterative Closest Point registration. By employing pre-trained human surface parametric models we maximally leverage domain-specific prior knowledge. The pairing of a mesh-convolutional network with generative model fitting enables us to predict correspondence for real human surface scans including occlusions, partialities, and varying genus (e.g. from self-contact). We evaluate the proposed method on the FAUST correspondence challenge where we achieve 20% (33%) improvement over state of the art methods for inter- (intra-) subject correspondence.
updated: Sun Aug 15 2021 08:58:45 GMT+0000 (UTC)
published: Sun Aug 15 2021 08:58:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト