arXiv reaDer
MixSTE:ビデオでの3D人間ポーズ推定のためのSeq2seq混合時空間エンコーダ
MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video
最近のトランスベースのソリューションは、時空間相関を学習するためにすべてのフレーム間の体の関節をグローバルに考慮することにより、2Dキーポイントシーケンスから3D人間のポーズを推定するために導入されました。異なる関節の動きが大きく異なることがわかります。ただし、以前の方法では、各関節のフレーム間の確実な対応を効率的にモデル化できず、時空間相関の学習が不十分になります。 MixSTE(Mixed Spatio-Temporal Encoder)を提案します。これは、各関節の時間的動きを個別にモデル化する時間的トランスフォーマーブロックと、関節間の空間相関を学習するための空間的トランスフォーマーブロックを備えています。これらの2つのブロックは、より良い時空間特徴エンコーディングを取得するために交互に使用されます。さらに、ネットワーク出力が中央フレームから入力ビデオのフレーム全体に拡張されるため、入力シーケンスと出力シーケンス間のコヒーレンスが向上します。提案された方法を評価するために、3つのベンチマーク(すなわち、Human3.6M、MPI-INF-3DHP、およびHumanEva)で広範な実験が行われます。結果は、Human3.6Mデータセットで私たちのモデルが最先端のアプローチよりも10.9%P-MPJPEおよび7.6%MPJPE優れていることを示しています。コードは、補足資料に記載されています。
Recent transformer-based solutions have been introduced to estimate 3D human pose from 2D keypoint sequence by considering body joints among all frames globally to learn spatio-temporal correlation. We observe that the motions of different joints differ significantly. However, the previous methods cannot efficiently model the solid inter-frame correspondence of each joint, leading to insufficient learning of spatial-temporal correlation. We propose MixSTE (Mixed Spatio-Temporal Encoder), which has a temporal transformer block to separately model the temporal motion of each joint and a spatial transformer block to learn inter-joint spatial correlation. These two blocks are utilized alternately to obtain better spatio-temporal feature encoding. In addition, the network output is extended from the central frame to entire frames of the input video, thereby improving the coherence between the input and output sequences. Extensive experiments are conducted on three benchmarks (i.e. Human3.6M, MPI-INF-3DHP, and HumanEva) to evaluate the proposed method. The results show that our model outperforms the state-of-the-art approach by 10.9% P-MPJPE and 7.6% MPJPE on the Human3.6M dataset. Code is available in our supplementary materials.
updated: Wed Mar 02 2022 04:20:59 GMT+0000 (UTC)
published: Wed Mar 02 2022 04:20:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト