エンドツーエンドのヒューマンメッシュリカバリ(HMR)アプローチは、3Dボディ再構築に正常に使用されています。ただし、ほとんどのHMRベースのフレームワークは、画像またはビデオからメッシュパラメータを直接学習することによって人体を再構築しますが、視覚データでの3D人間のポーズの明示的なガイダンスはありません。その結果、生成されたメッシュは、複雑なアクティビティに対して誤ったポーズを示すことがよくあります。この問題に取り組むために、3Dポーズを利用して人間のメッシュを調整することを提案します。具体的には、シリアルPC-HMRとパラレルPC-HMRの2つの新しいポーズキャリブレーションフレームワークを開発します。高度な3Dポーズ推定器とHMRを直列または並列に結合することにより、これら2つのフレームワークは、簡潔なポーズキャリブレーションモジュールのガイダンスで人間のメッシュを効果的に修正できます。さらに、キャリブレーションモジュールは非剛体ポーズ変換を介して設計されているため、PC-HMRフレームワークは、骨の長さの変動に柔軟に対応して、キャリブレーションされたメッシュの位置ずれを軽減できます。最後に、私たちのフレームワークは、データ駆動型学習と幾何学的モデリングの一般的かつ補完的な統合に基づいています。プラグアンドプレイモジュールを介して、画像/ビデオベースのヒューマンメッシュリカバリの両方に効率的に適合させることができます。さらに、テスト段階で追加の3Dポーズ注釈を必要としないため、実際には推論が困難になります。 PC-HMRフレームワークがSOTAの結果を達成する、人気のあるベンチマーク、つまりHuman3.6M、3DPW、およびSURREALで広範な実験を実行します。
The end-to-end Human Mesh Recovery (HMR) approach has been successfully used for 3D body reconstruction. However, most HMR-based frameworks reconstruct human body by directly learning mesh parameters from images or videos, while lacking explicit guidance of 3D human pose in visual data. As a result, the generated mesh often exhibits incorrect pose for complex activities. To tackle this problem, we propose to exploit 3D pose to calibrate human mesh. Specifically, we develop two novel Pose Calibration frameworks, i.e., Serial PC-HMR and Parallel PC-HMR. By coupling advanced 3D pose estimators and HMR in a serial or parallel manner, these two frameworks can effectively correct human mesh with guidance of a concise pose calibration module. Furthermore, since the calibration module is designed via non-rigid pose transformation, our PC-HMR frameworks can flexibly tackle bone length variations to alleviate misplacement in the calibrated mesh. Finally, our frameworks are based on generic and complementary integration of data-driven learning and geometrical modeling. Via plug-and-play modules, they can be efficiently adapted for both image/video-based human mesh recovery. Additionally, they have no requirement of extra 3D pose annotations in the testing phase, which releases inference difficulties in practice. We perform extensive experiments on the popular bench-marks, i.e., Human3.6M, 3DPW and SURREAL, where our PC-HMR frameworks achieve the SOTA results.