この作業では、自動運転のための世界初の閉ループMLベースの計画ベンチマークを提案します。 MLベースのモーションプランナーが増えていますが、確立されたデータセットと指標が不足しているため、この分野の進歩は制限されています。自動運転車の動きを予測するための既存のベンチマークは、長期的な計画ではなく、短期的な動きの予測に重点を置いてきました。これにより、以前の作業では、長期計画を公正に評価するのに適していないL2ベースのメトリックを使用した開ループ評価を使用するようになりました。私たちのベンチマークは、大規模な運転データセット、軽量の閉ループシミュレーター、および動作計画固有のメトリックを導入することにより、これらの制限を克服します。さまざまな交通パターン(ボストン、ピッツバーグ、ラスベガス、シンガポール)の米国とアジアの4つの都市からの1500時間の人間の運転データを含む高品質のデータセットを提供します。リアクティブエージェントを使用した閉ループシミュレーションフレームワークを提供し、一般的な計画指標とシナリオ固有の計画指標の両方の大規模なセットを提供します。 NeurIPS 2021でデータセットをリリースし、2022年初頭からベンチマークチャレンジを整理する予定です。
In this work, we propose the world's first closed-loop ML-based planning benchmark for autonomous driving. While there is a growing body of ML-based motion planners, the lack of established datasets and metrics has limited the progress in this area. Existing benchmarks for autonomous vehicle motion prediction have focused on short-term motion forecasting, rather than long-term planning. This has led previous works to use open-loop evaluation with L2-based metrics, which are not suitable for fairly evaluating long-term planning. Our benchmark overcomes these limitations by introducing a large-scale driving dataset, lightweight closed-loop simulator, and motion-planning-specific metrics. We provide a high-quality dataset with 1500h of human driving data from 4 cities across the US and Asia with widely varying traffic patterns (Boston, Pittsburgh, Las Vegas and Singapore). We will provide a closed-loop simulation framework with reactive agents and provide a large set of both general and scenario-specific planning metrics. We plan to release the dataset at NeurIPS 2021 and organize benchmark challenges starting in early 2022.