動的な環境で計画を立てるには、複数のエージェントの将来の動きを予測する必要があります。エージェント(車両や歩行者など)とそれに関連する行動は多様であり、相互に影響を与える可能性があるため、このタスクは自動運転にとって困難です。これまでのほとんどの作業は、過去のすべての動きに基づいて各エージェントの独立した先物を最初に予測し、次にこれらの独立した予測に対して計画することに焦点を当てていました。ただし、固定予測に対する計画では、異なるエージェント間の将来の相互作用の可能性を表現できないため、計画が最適化されない可能性があります。この作業では、実際の運転環境ですべてのエージェントの動作を統一的に予測するためのモデルを作成します。最近の言語モデリングアプローチに触発されて、モデルへのクエリとしてマスキング戦略を使用し、単一のモデルを呼び出して、自動運転車の目標や将来の完全な軌道を条件とするなど、さまざまな方法でエージェントの行動を予測できるようにします。環境内の他のエージェントの動作。私たちのモデルアーキテクチャは、道路要素、エージェントの相互作用、および時間ステップ全体に注意を払うことにより、統合されたTransformerアーキテクチャで異種の世界状態を融合します。行動予測のための自動運転データセットに対するアプローチを評価し、最先端のパフォーマンスを実現します。私たちの仕事は、マスキング戦略を使用して統合アーキテクチャで行動予測の問題を定式化することで、複数のモーション予測を実行し、関連するタスクを効果的に計画できる単一のモデルを持つことができることを示しています。
Predicting the future motion of multiple agents is necessary for planning in dynamic environments. This task is challenging for autonomous driving since agents (e.g., vehicles and pedestrians) and their associated behaviors may be diverse and influence each other. Most prior work has focused on first predicting independent futures for each agent based on all past motion, and then planning against these independent predictions. However, planning against fixed predictions can suffer from the inability to represent the future interaction possibilities between different agents, leading to sub-optimal planning. In this work, we formulate a model for predicting the behavior of all agents jointly in real-world driving environments in a unified manner. Inspired by recent language modeling approaches, we use a masking strategy as the query to our model, enabling one to invoke a single model to predict agent behavior in many ways, such as potentially conditioned on the goal or full future trajectory of the autonomous vehicle or the behavior of other agents in the environment. Our model architecture fuses heterogeneous world state in a unified Transformer architecture by employing attention across road elements, agent interactions and time steps. We evaluate our approach on autonomous driving datasets for behavior prediction, and achieve state-of-the-art performance. Our work demonstrates that formulating the problem of behavior prediction in a unified architecture with a masking strategy may allow us to have a single model that can perform multiple motion prediction and planning related tasks effectively.