arXiv reaDer
PyMAF:ピラミッド型メッシュアライメントフィードバックループを使用した3D人間のポーズと形状の回帰
PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop
回帰ベースの方法は、最近、単眼画像から人間のメッシュを再構築する上で有望な結果を示しています。これらのメソッドは、生のピクセルをモデルパラメータに直接マッピングすることにより、ニューラルネットワークを介してフィードフォワード方式でパラメトリックモデルを生成できます。ただし、パラメータのわずかな偏差により、推定されたメッシュと画像の証拠の間に顕著な不整合が生じる可能性があります。この問題に対処するために、ピラミッド型メッシュアライメントフィードバック(PyMAF)ループを提案して、フィーチャピラミッドを活用し、ディープリグレッサのメッシュイメージアライメントステータスに基づいて予測パラメーターを明示的に修正します。 PyMAFでは、現在予測されているパラメーターが与えられると、メッシュに沿った証拠がそれに応じてより細かい解像度の特徴から抽出され、パラメーターの修正のためにフィードバックされます。ノイズを低減し、これらの証拠の信頼性を高めるために、補助的なピクセル単位の監視がフィーチャエンコーダに課されます。これにより、ネットワークにメッシュ画像対応ガイダンスが提供され、空間フィーチャで最も関連性の高い情報が保持されます。私たちのアプローチの有効性は、Human3.6M、3DPW、LSP、COCOなどのいくつかのベンチマークで検証されています。実験結果は、私たちのアプローチが再構成のメッシュ画像の位置合わせを一貫して改善することを示しています。コードとビデオの結果が記載されたプロジェクトページは、https://hongwenzhang.github.io/pymafにあります。
Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. The project page with code and video results can be found at https://hongwenzhang.github.io/pymaf.
updated: Tue Aug 24 2021 03:35:37 GMT+0000 (UTC)
published: Tue Mar 30 2021 17:07:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト