arXiv reaDer
StridedPoseGraphFormer とデータ拡張によるオクルージョン ロバストな 3D 人間の姿勢推定
Occlusion Robust 3D Human Pose Estimation with StridedPoseGraphFormer and Data Augmentation
オクルージョンは、3D 人間の姿勢推定 (HPE) における遍在する課題です。 3D HPE に特化した大量の研究にもかかわらず、オクルージョンの問題を明確に扱っている研究は限られています。このギャップを埋めるために、オクルージョンに対処するためのトレーニング中に、時空間機能の活用と合成オクルージョン拡張を組み合わせることを提案します。この目的のために、時空間 3D HPE モデルである StridedPoseGraphFormer をグラフ畳み込みとトランスフォーマーに基づいて構築し、オクルージョン拡張を使用してトレーニングします。限られたオクルージョンについてのみテストされる既存のオクルージョン認識方法とは異なり、さまざまな程度のオクルージョンについてこの方法を広く評価します。提案した方法が最新技術 (SoA) と比較して優れていることを示します。私たちの実験結果は、オクルージョン処理メカニズムがない場合、オクルージョンに遭遇すると SoA 3D HPE メソッドのパフォーマンスが大幅に低下することも明らかにしています。
Occlusion is an omnipresent challenge in 3D human pose estimation (HPE). In spite of the large amount of research dedicated to 3D HPE, only a limited number of studies address the problem of occlusion explicitly. To fill this gap, we propose to combine exploitation of spatio-temporal features with synthetic occlusion augmentation during training to deal with occlusion. To this end, we build a spatio-temporal 3D HPE model, StridedPoseGraphFormer based on graph convolution and transformers, and train it using occlusion augmentation. Unlike the existing occlusion-aware methods, that are only tested for limited occlusion, we extensively evaluate our method for varying degrees of occlusion. We show that our proposed method compares favorably with the state-of-the-art (SoA). Our experimental results also reveal that in the absence of any occlusion handling mechanism, the performance of SoA 3D HPE methods degrades significantly when they encounter occlusion.
updated: Mon Apr 24 2023 13:05:13 GMT+0000 (UTC)
published: Mon Apr 24 2023 13:05:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト