この論文では、単一の RGB 画像から 3D ヒューマン メッシュを再構築するためのシンプルかつ強力な方法を紹介します。ごく最近では、メッシュ頂点全体の非局所相互作用がトランスフォーマーで効果的に推定され、身体部分間の関係もグラフ モデルを介して処理され始めています。これらのアプローチは、3D ヒューマン メッシュ再構成において目覚ましい進歩を示していますが、2D 入力画像からエンコードされた特徴と各頂点の 3D 座標との間の関係を直接推測することは依然として困難です。この問題を解決するために、単純な機能サンプリング方式を設計することを提案します。重要なアイデアは、3D メッシュの頂点 (つまり、グラウンド トゥルース) の投影結果として推定されるポイントのガイドに従って、埋め込まれた空間内のフィーチャをサンプリングすることです。これにより、モデルは 2D 空間内の頂点に関連する機能により集中できるようになり、自然な人間のポーズの再構築につながります。さらに、プログレッシブ アテンション マスキングを適用して、重度のオクルージョン下でも頂点間の局所的な相互作用を正確に推定します。ベンチマーク データセットに関する実験結果は、提案された方法が 3D ヒューマン メッシュ再構成のパフォーマンスを効率的に改善することを示しています。コードとモデルは、https://github.com/DCVL-3D/PointHMR_release で公開されています。
This paper presents a simple yet powerful method for 3D human mesh reconstruction from a single RGB image. Most recently, the non-local interactions of the whole mesh vertices have been effectively estimated in the transformer while the relationship between body parts also has begun to be handled via the graph model. Even though those approaches have shown the remarkable progress in 3D human mesh reconstruction, it is still difficult to directly infer the relationship between features, which are encoded from the 2D input image, and 3D coordinates of each vertex. To resolve this problem, we propose to design a simple feature sampling scheme. The key idea is to sample features in the embedded space by following the guide of points, which are estimated as projection results of 3D mesh vertices (i.e., ground truth). This helps the model to concentrate more on vertex-relevant features in the 2D space, thus leading to the reconstruction of the natural human pose. Furthermore, we apply progressive attention masking to precisely estimate local interactions between vertices even under severe occlusions. Experimental results on benchmark datasets show that the proposed method efficiently improves the performance of 3D human mesh reconstruction. The code and model are publicly available at: https://github.com/DCVL-3D/PointHMR_release.