複数人の姿勢予測は、特に複雑な群衆シナリオでのきめ細かい人体相互作用のモデル化において、依然として困難な問題です。既存の方法は通常、ポーズ シーケンス全体を時系列として表しますが、骨格の身体部分に基づく人々の間の相互作用的な影響を見落としています。この論文では、身体部分の相互作用を効果的にモデル化することにより、複数人の姿勢を予測するための新しい軌道認識身体相互作用変換器 (TBIFormer) を提案します。具体的には、すべてのポーズ シーケンスをマルチパーソン ボディ パーツ シーケンスに変換して、ボディ セマンティクスに基づいた空間情報と時間情報を保持する、Temporal Body Partition Module を構築します。次に、変換されたシーケンスを利用して、個人間および個人内の相互作用の身体部分のダイナミクスを学習する、社会的身体相互作用自己注意 (SBI-MSA) モジュールを考案します。さらに、以前のユークリッド距離ベースの空間エンコーディングとは異なり、識別可能な空間情報と追加のインタラクティブな手がかりを提供するために、SBI-MSA の斬新で効率的な軌道認識相対位置エンコーディングを提示します。短期的および長期的な視野の両方で、CMU-Mocap、MuPoTS-3D、および合成されたデータセット (6 ~ 10 人) のフレームワークを経験的に評価し、私たちの方法が最先端の方法よりもはるかに優れていることを実証します。メソッド。コードは承認され次第、公開されます。
Multi-person pose forecasting remains a challenging problem, especially in modeling fine-grained human body interaction in complex crowd scenarios. Existing methods typically represent the whole pose sequence as a temporal series, yet overlook interactive influences among people based on skeletal body parts. In this paper, we propose a novel Trajectory-Aware Body Interaction Transformer (TBIFormer) for multi-person pose forecasting via effectively modeling body part interactions. Specifically, we construct a Temporal Body Partition Module that transforms all the pose sequences into a Multi-Person Body-Part sequence to retain spatial and temporal information based on body semantics. Then, we devise a Social Body Interaction Self-Attention (SBI-MSA) module, utilizing the transformed sequence to learn body part dynamics for inter- and intra-individual interactions. Furthermore, different from prior Euclidean distance-based spatial encodings, we present a novel and efficient Trajectory-Aware Relative Position Encoding for SBI-MSA to offer discriminative spatial information and additional interactive clues. On both short- and long-term horizons, we empirically evaluate our framework on CMU-Mocap, MuPoTS-3D as well as synthesized datasets (6 ~ 10 persons), and demonstrate that our method greatly outperforms the state-of-the-art methods. Code will be made publicly available upon acceptance.