arXiv reaDer
メッシュグラファーマー
Mesh Graphormer
単一の画像からの3D人間のポーズとメッシュの再構築のために、MeshGraphormerという名前のグラフ畳み込み強化トランスフォーマーを紹介します。最近、トランスフォーマーとグラフ畳み込みニューラルネットワーク(GCNN)の両方が、人間のメッシュ再構成において有望な進歩を示しています。トランスフォーマーベースのアプローチは、3Dメッシュ頂点とボディジョイント間の非ローカル相互作用のモデリングに効果的ですが、GCNNは、事前に指定されたメッシュトポロジに基づく近傍頂点相互作用の活用に優れています。この論文では、トランスフォーマーでグラフの畳み込みと自己注意を組み合わせて、ローカルとグローバルの両方の相互作用をモデル化する方法を研究します。実験結果は、提案された方法であるMesh Graphormerが、Human3.6M、3DPW、およびFreiHANDデータセットを含む複数のベンチマークで以前の最先端の方法を大幅に上回っていることを示しています。コードと事前トレーニング済みモデルは、https://github.com/microsoft/MeshGraphormerで入手できます。
We present a graph-convolution-reinforced transformer, named Mesh Graphormer, for 3D human pose and mesh reconstruction from a single image. Recently both transformers and graph convolutional neural networks (GCNNs) have shown promising progress in human mesh reconstruction. Transformer-based approaches are effective in modeling non-local interactions among 3D mesh vertices and body joints, whereas GCNNs are good at exploiting neighborhood vertex interactions based on a pre-specified mesh topology. In this paper, we study how to combine graph convolutions and self-attentions in a transformer to model both local and global interactions. Experimental results show that our proposed method, Mesh Graphormer, significantly outperforms the previous state-of-the-art methods on multiple benchmarks, including Human3.6M, 3DPW, and FreiHAND datasets. Code and pre-trained models are available at https://github.com/microsoft/MeshGraphormer
updated: Sun Aug 15 2021 06:34:31 GMT+0000 (UTC)
published: Thu Apr 01 2021 06:16:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト