arXiv reaDer
単眼画像からの3D人間メッシュの回復:調査
Recovering 3D Human Mesh from Monocular Images: A Survey
単眼画像から人間のポーズと形状を推定することは、コンピュータビジョンにおける長年の問題です。統計的身体モデルのリリース以来、3D人間メッシュ回復はより幅広い注目を集めています。よく整列され、物理的にもっともらしいメッシュ結果を取得するという同じ目標で、2Dから3Dへのリフティングプロセスの課題を克服するために2つのパラダイムが開発されました。最適化の目的として; ii)回帰ベースのパラダイム。ディープラーニング手法を採用して、問題をエンドツーエンドで解決します。一方、さまざまなデータセットの3Dメッシュラベルの品質を向上させるために継続的な努力が払われています。過去10年間で目覚ましい進歩が達成されましたが、柔軟な体の動き、多様な外観、複雑な環境、および不十分な野生の注釈のために、このタスクは依然として困難です。私たちの知る限り、これは単眼3D人間メッシュ回復のタスクに焦点を当てた最初の調査です。まず、ボディモデルの紹介から始めて、回復のフレームワークとトレーニングの目的を詳しく説明し、それらの長所と短所を詳細に分析します。また、データセット、評価指標、およびベンチマーク結果を要約します。最後に、未解決の問題と将来の方向性について議論し、研究者の意欲を高め、この分野での研究を促進することを望んでいます。定期的に更新されるプロジェクトページは、https://github.com/tinatiansjz/hmr-surveyにあります。
Estimating human pose and shape from monocular images is a long-standing problem in computer vision. Since the release of statistical body models, 3D human mesh recovery has been drawing broader attention. With the same goal of obtaining well-aligned and physically plausible mesh results, two paradigms have been developed to overcome challenges in the 2D-to-3D lifting process: i) an optimization-based paradigm, where different data terms and regularization terms are exploited as optimization objectives; and ii) a regression-based paradigm, where deep learning techniques are embraced to solve the problem in an end-to-end fashion. Meanwhile, continuous efforts are devoted to improving the quality of 3D mesh labels for a wide range of datasets. Though remarkable progress has been achieved in the past decade, the task is still challenging due to flexible body motions, diverse appearances, complex environments, and insufficient in-the-wild annotations. To the best of our knowledge, this is the first survey to focus on the task of monocular 3D human mesh recovery. We start with the introduction of body models and then elaborate recovery frameworks and training objectives by providing in-depth analyses of their strengths and weaknesses. We also summarize datasets, evaluation metrics, and benchmark results. Open issues and future directions are discussed in the end, hoping to motivate researchers and facilitate their research in this area. A regularly updated project page can be found at https://github.com/tinatiansjz/hmr-survey.
updated: Tue Mar 08 2022 12:42:52 GMT+0000 (UTC)
published: Thu Mar 03 2022 18:56:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト