arXiv reaDer
カメラの動きにとらわれない3D人間のポーズの推定
Camera Motion Agnostic 3D Human Pose Estimation
3D人間のポーズと形状の推定方法のパフォーマンスは近年大幅に向上していますが、既存のアプローチでは通常、カメラまたは人間中心の座標系で定義された3Dポーズが生成されます。これにより、移動するカメラを使用してキャプチャされたビデオの世界座標系での人物の純粋なポーズと動きを推定することが困難になります。この問題に対処するために、このペーパーでは、世界座標系で定義された3D人間のポーズとメッシュを予測するためのカメラモーションにとらわれないアプローチを紹介します。提案されたアプローチの中心的なアイデアは、カメラの動きに結合されたグローバルポーズの代わりに、座標系の選択に対して不変である2つの隣接するグローバルポーズ(つまり、グローバルモーション)間の差を推定することです。この目的のために、我々は、グローバルモーションリグレッサ(GMR)と呼ばれる関節の相対回転からなるローカルポーズシーケンスからグローバルモーションシーケンスを予測する双方向ゲート付き回帰ユニット(GRU)に基づくネットワークを提案します。評価には、移動カメラ環境で構築された3DPWと合成データセットを使用します。我々は広範な実験を行い、提案された方法の有効性を経験的に証明します。コードとデータセットはhttps://github.com/seonghyunkim1212/GMRで入手できます。
Although the performance of 3D human pose and shape estimation methods has improved significantly in recent years, existing approaches typically generate 3D poses defined in camera or human-centered coordinate system. This makes it difficult to estimate a person's pure pose and motion in world coordinate system for a video captured using a moving camera. To address this issue, this paper presents a camera motion agnostic approach for predicting 3D human pose and mesh defined in the world coordinate system. The core idea of the proposed approach is to estimate the difference between two adjacent global poses (i.e., global motion) that is invariant to selecting the coordinate system, instead of the global pose coupled to the camera motion. To this end, we propose a network based on bidirectional gated recurrent units (GRUs) that predicts the global motion sequence from the local pose sequence consisting of relative rotations of joints called global motion regressor (GMR). We use 3DPW and synthetic datasets, which are constructed in a moving-camera environment, for evaluation. We conduct extensive experiments and prove the effectiveness of the proposed method empirically. Code and datasets are available at https://github.com/seonghyunkim1212/GMR
updated: Wed Dec 01 2021 08:22:50 GMT+0000 (UTC)
published: Wed Dec 01 2021 08:22:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト