arXiv reaDer
弱教師ありクロスビュー3D人間の姿勢推定
Weakly-supervised Cross-view 3D Human Pose Estimation
単眼の3D人間の姿勢推定方法は大きな進歩を遂げましたが、固有の深度のあいまいさのために解決にはほど遠いです。代わりに、マルチビュー情報を活用することは、絶対的な3D人間の姿勢推定を実現するための実用的な方法です。この論文では、弱教師ありクロスビュー3D人間姿勢推定のためのシンプルで効果的なパイプラインを提案します。 2つのカメラビューを使用するだけで、私たちの方法は、3Dグラウンドトゥルースを必要とせず、2D注釈のみを必要とする、弱く監視された方法で最先端のパフォーマンスを実現できます。具体的には、この方法には、三角測量とリファインメントの2つのステップが含まれています。まず、従来の2D検出方法で取得できる2Dキーポイントを前提として、2つのビューで三角測量を実行し、2Dキーポイントを粗い3Dポーズに持ち上げます。次に、新しいクロスビューU字型グラフ畳み込みネットワーク(CV-UGCN )は、空間構成とクロスビュー相関を調べることができ、粗い3Dポーズを洗練するように設計されています。特に、洗練の進歩は、幾何学的および構造を意識した整合性チェックが実行される、弱教師あり学習によって達成されます。標準のベンチマークデータセットであるHuman3.6Mでメソッドを評価します。ベンチマークデータセットの関節あたりの平均位置誤差は27.4mmであり、最先端技術を大幅に上回っています(27.4mm対30.2mm)。
Although monocular 3D human pose estimation methods have made significant progress, it's far from being solved due to the inherent depth ambiguity. Instead, exploiting multi-view information is a practical way to achieve absolute 3D human pose estimation. In this paper, we propose a simple yet effective pipeline for weakly-supervised cross-view 3D human pose estimation. By only using two camera views, our method can achieve state-of-the-art performance in a weakly-supervised manner, requiring no 3D ground truth but only 2D annotations. Specifically, our method contains two steps: triangulation and refinement. First, given the 2D keypoints that can be obtained through any classic 2D detection methods, triangulation is performed across two views to lift the 2D keypoints into coarse 3D poses.Then, a novel cross-view U-shaped graph convolutional network (CV-UGCN), which can explore the spatial configurations and cross-view correlations, is designed to refine the coarse 3D poses. In particular, the refinement progress is achieved through weakly-supervised learning, in which geometric and structure-aware consistency checks are performed. We evaluate our method on the standard benchmark dataset, Human3.6M. The Mean Per Joint Position Error on the benchmark dataset is 27.4 mm, which outperforms the state-of-the-arts remarkably (27.4 mm vs 30.2 mm).
updated: Sun May 23 2021 08:16:25 GMT+0000 (UTC)
published: Sun May 23 2021 08:16:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト