arXiv reaDer
MHFormer:3D人間の姿勢推定のためのマルチ仮説トランスフォーマー
MHFormer: Multi-Hypothesis Transformer for 3D Human Pose Estimation
単眼ビデオから3D人間のポーズを推定することは、深さのあいまいさと自己閉塞のために困難な作業です。ほとんどの既存の作品は、空間的および時間的関係を利用することによって両方の問題を解決しようとしています。しかし、それらの作品は、それが複数の実行可能な解決策(すなわち、仮説)が存在する逆問題であるという事実を無視しています。この制限を緩和するために、複数のもっともらしいポーズ仮説の時空間表現を学習するマルチ仮説トランスフォーマー(MHFormer)を提案します。複数の仮説の依存関係を効果的にモデル化し、仮説の特徴全体で強力な関係を構築するために、タスクは3つの段階に分解されます。(i)複数の初期仮説表現を生成します。 (ii)自己仮説コミュニケーションをモデル化し、複数の仮説を単一の収束表現にマージしてから、それをいくつかの発散した仮説に分割します。 (iii)クロス仮説コミュニケーションを学び、マルチ仮説機能を集約して、最終的な3Dポーズを合成します。上記のプロセスを通じて、最終的な表現が強化され、合成されたポーズがはるかに正確になります。広範な実験により、MHFormerは、Human3.6MとMPI-INF-3DHPという2つの困難なデータセットで最先端の結果を達成していることが示されています。ベルとホイッスルがない場合、そのパフォーマンスは、Human3.6Mで3%の大きなマージンで以前の最良の結果を上回ります。コードとモデルはhttps://github.com/Vegetebird/MHFormerで入手できます。
Estimating 3D human poses from monocular videos is a challenging task due to depth ambiguity and self-occlusion. Most existing works attempt to solve both issues by exploiting spatial and temporal relationships. However, those works ignore the fact that it is an inverse problem where multiple feasible solutions (i.e., hypotheses) exist. To relieve this limitation, we propose a Multi-Hypothesis Transformer (MHFormer) that learns spatio-temporal representations of multiple plausible pose hypotheses. In order to effectively model multi-hypothesis dependencies and build strong relationships across hypothesis features, the task is decomposed into three stages: (i) Generate multiple initial hypothesis representations; (ii) Model self-hypothesis communication, merge multiple hypotheses into a single converged representation and then partition it into several diverged hypotheses; (iii) Learn cross-hypothesis communication and aggregate the multi-hypothesis features to synthesize the final 3D pose. Through the above processes, the final representation is enhanced and the synthesized pose is much more accurate. Extensive experiments show that MHFormer achieves state-of-the-art results on two challenging datasets: Human3.6M and MPI-INF-3DHP. Without bells and whistles, its performance surpasses the previous best result by a large margin of 3% on Human3.6M. Code and models are available at https://github.com/Vegetebird/MHFormer.
updated: Wed Nov 24 2021 18:59:02 GMT+0000 (UTC)
published: Wed Nov 24 2021 18:59:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト