モーション予測は、自動運転のシナリオにおける動的オブジェクトと静的マップ要素の認識に非常に関連しています。この作業では、オンライン マッピング、オブジェクト検出、モーション予測を共同でインタラクティブに実行する最初のエンド ツー エンドの Transformer ベースのフレームワークである PIP を提案します。 PIP は、マップ クエリ、エージェント クエリ、およびモード クエリを活用して、マップ要素、エージェント、およびモーション インテンションのインスタンス単位の情報をそれぞれエンコードします。統一されたクエリ表現に基づいて、知覚と予測の間の相関関係を利用するために、微分可能なマルチタスク相互作用スキームが提案されます。人間が注釈を付けた HD マップやエージェントの過去の追跡軌跡をガイダンス情報として使用しなくても、PIP はエンドツーエンドのマルチエージェント動作予測を実現し、追跡ベースおよび HD マップベースの方法よりも優れたパフォーマンスを実現します。 PIP は、運転シーンの包括的な高レベル情報 (ベクトル化された静的マップとモーション情報を含む動的オブジェクト) を提供し、下流の計画と制御に貢献します。コードとモデルは、さらなる研究を促進するためにリリースされます。
Motion prediction is highly relevant to the perception of dynamic objects and static map elements in the scenarios of autonomous driving. In this work, we propose PIP, the first end-to-end Transformer-based framework which jointly and interactively performs online mapping, object detection and motion prediction. PIP leverages map queries, agent queries and mode queries to encode the instance-wise information of map elements, agents and motion intentions, respectively. Based on the unified query representation, a differentiable multi-task interaction scheme is proposed to exploit the correlation between perception and prediction. Even without human-annotated HD map or agent's historical tracking trajectory as guidance information, PIP realizes end-to-end multi-agent motion prediction and achieves better performance than tracking-based and HD-map-based methods. PIP provides comprehensive high-level information of the driving scene (vectorized static map and dynamic objects with motion information), and contributes to the downstream planning and control. Code and models will be released for facilitating further research.