arXiv reaDer
複数人の 3D 人体姿勢推定のための明示的オクルージョン推論
Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation
オクルージョンは、オクルーダーの形状、外観、および位置に関して大きな変動性があるため、単眼の複数人の 3D 人間の姿勢推定に大きな脅威をもたらします。既存の方法は、ポーズの優先順位/制約、データ拡張、または暗黙の推論を使用してオクルージョンを処理しようとしますが、まだ見えないポーズやオクルージョンのケースに一般化できず、複数の人がいる場合に大きな間違いを犯す可能性があります。視覚的な手がかりから閉塞した関節を推測する人間の驚くべき能力に触発されて、閉塞の有無にかかわらず、ボトムアップの複数人の人間の姿勢推定を大幅に改善するこのプロセスを明示的にモデル化する方法を開発しました。まず、タスクを 2 つのサブタスクに分割します。可視キーポイントの検出と遮蔽されたキーポイントの推論です。2 つ目のサブタスクを解決するために、深層監視エンコーダ蒸留 (DSED) ネットワークを提案します。モデルをトレーニングするために、既存のデータセットに疑似オクルージョン ラベルを生成し、明示的なオクルージョン推論を可能にする、スケルトン ガイドによるヒューマン シェイプ フィッティング (SSF) アプローチを提案します。実験では、オクルージョンから明示的に学習すると、人間の姿勢推定が改善されることが示されています。さらに、目に見える関節の機能レベルの情報を活用することで、閉塞した関節についてより正確に推論することができます。私たちの方法は、いくつかのベンチマークで最先端のトップダウンとボトムアップの両方の方法よりも優れています.
Occlusion poses a great threat to monocular multi-person 3D human pose estimation due to large variability in terms of the shape, appearance, and position of occluders. While existing methods try to handle occlusion with pose priors/constraints, data augmentation, or implicit reasoning, they still fail to generalize to unseen poses or occlusion cases and may make large mistakes when multiple people are present. Inspired by the remarkable ability of humans to infer occluded joints from visible cues, we develop a method to explicitly model this process that significantly improves bottom-up multi-person human pose estimation with or without occlusions. First, we split the task into two subtasks: visible keypoints detection and occluded keypoints reasoning, and propose a Deeply Supervised Encoder Distillation (DSED) network to solve the second one. To train our model, we propose a Skeleton-guided human Shape Fitting (SSF) approach to generate pseudo occlusion labels on the existing datasets, enabling explicit occlusion reasoning. Experiments show that explicitly learning from occlusions improves human pose estimation. In addition, exploiting feature-level information of visible joints allows us to reason about occluded joints more accurately. Our method outperforms both the state-of-the-art top-down and bottom-up methods on several benchmarks.
updated: Fri Jul 29 2022 22:12:50 GMT+0000 (UTC)
published: Fri Jul 29 2022 22:12:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト