都市環境における自動運転車にとって最も重要でありながら困難なタスクの1つは、特に交差点での近くの歩行者の将来の行動を予測することです。行動の予測は、多くの社会的および環境的要因、特に道路利用者間の相互作用に依存します。このような相互作用をキャプチャするには、3次元空間での道路利用者のシーンとダイナミクスのグローバルビューが必要です。ただし、この情報は、現在の歩行者行動ベンチマークデータセットから欠落しています。これらの課題に動機付けられて、1)横断歩道の動作を予測するための新しいグラフベースのモデルを提案します。私たちの方法は、鳥瞰図から得られた特徴を使用して、相互作用のクラスタリングと相対的な重要度の重み付けを通じて、近くの道路利用者との歩行者の相互作用をモデル化します。 2)既存のnuScenesデータセットに3Dバウンディングボックスと歩行者行動アノテーションを提供する新しいデータセットを導入します。新しいデータでは、私たちのアプローチは、既存の方法と比較して15%以上さまざまなメトリックを改善することにより、最先端のパフォーマンスを実現します。データセットはhttps://github.com/huawei-noah/datasets/PePScenesで入手できます。
One of the most crucial yet challenging tasks for autonomous vehicles in urban environments is predicting the future behaviour of nearby pedestrians, especially at points of crossing. Predicting behaviour depends on many social and environmental factors, particularly interactions between road users. Capturing such interactions requires a global view of the scene and dynamics of the road users in three-dimensional space. This information, however, is missing from the current pedestrian behaviour benchmark datasets. Motivated by these challenges, we propose 1) a novel graph-based model for predicting pedestrian crossing action. Our method models pedestrians' interactions with nearby road users through clustering and relative importance weighting of interactions using features obtained from the bird's-eye-view. 2) We introduce a new dataset that provides 3D bounding box and pedestrian behavioural annotations for the existing nuScenes dataset. On the new data, our approach achieves state-of-the-art performance by improving on various metrics by more than 15% in comparison to existing methods. The dataset is available at https://github.com/huawei-noah/datasets/PePScenes.