複数のエージェントの正確な将来の軌道を予測することは自律システムにとって不可欠ですが、複雑なエージェントの相互作用と各エージェントの将来の動作の不確実性のために困難です。マルチエージェントの軌跡を予測するには、次の2つの主要な次元をモデル化する必要があります。(1)時間次元。過去のエージェントの状態が将来の状態に与える影響をモデル化します。 (2)社会的側面。各エージェントの状態が他のエージェントにどのように影響するかをモデル化します。以前のほとんどの方法では、これら2つの次元を別々にモデル化しています。たとえば、最初に時間モデルを使用して各エージェントの特徴を時間の経過とともに個別に要約し、次に要約された特徴とソーシャルモデルとの相互作用をモデル化します。時間または社会的側面のいずれかにわたる独立した特徴エンコーディングは情報の損失をもたらす可能性があるため、このアプローチは最適ではありません。代わりに、あるエージェントの状態が将来別のエージェントの状態に直接影響を与えることができる方法をお勧めします。この目的のために、時間と社会的側面を共同でモデル化する新しいトランスフォーマー、AgentFormerを提案します。このモデルは、時間とエージェントにわたって軌道の特徴を平坦化することにより、マルチエージェントの軌道のシーケンス表現を活用します。標準のアテンション操作はシーケンス内の各要素のエージェントIDを無視するため、AgentFormerは、同じエージェントの要素に他のエージェントの要素とは異なる方法で対応することにより、エージェントIDを保持する新しいエージェント認識アテンションメカニズムを使用します。 AgentFormerに基づいて、エージェントの将来の位置を推測するときに、以前のタイムステップで任意のエージェントの機能に対応できる確率的マルチエージェント軌道予測モデルを提案します。すべてのエージェントの潜在的な意図も共同でモデル化され、1つのエージェントの動作の確率論が他のエージェントに影響を与えることを可能にします。私たちの方法は、定評のある歩行者および自動運転データセットの最先端技術を大幅に改善します。
Predicting accurate future trajectories of multiple agents is essential for autonomous systems, but is challenging due to the complex agent interaction and the uncertainty in each agent's future behavior. Forecasting multi-agent trajectories requires modeling two key dimensions: (1) time dimension, where we model the influence of past agent states over future states; (2) social dimension, where we model how the state of each agent affects others. Most prior methods model these two dimensions separately; e.g., first using a temporal model to summarize features over time for each agent independently and then modeling the interaction of the summarized features with a social model. This approach is suboptimal since independent feature encoding over either the time or social dimension can result in a loss of information. Instead, we would prefer a method that allows an agent's state at one time to directly affect another agent's state at a future time. To this end, we propose a new Transformer, AgentFormer, that jointly models the time and social dimensions. The model leverages a sequence representation of multi-agent trajectories by flattening trajectory features across time and agents. Since standard attention operations disregard the agent identity of each element in the sequence, AgentFormer uses a novel agent-aware attention mechanism that preserves agent identities by attending to elements of the same agent differently than elements of other agents. Based on AgentFormer, we propose a stochastic multi-agent trajectory prediction model that can attend to features of any agent at any previous timestep when inferring an agent's future position. The latent intent of all agents is also jointly modeled, allowing the stochasticity in one agent's behavior to affect other agents. Our method significantly improves the state of the art on well-established pedestrian and autonomous driving datasets.