実世界のシナリオで複数のクラスの道路利用者の移動軌道を予測することは、軌道パターンが多様であるため、困難な作業です。歩行者の軌道予測の最近の研究は、相対距離に基づいて周囲の隣人の影響をうまくモデル化したが、それらはマルチクラスの軌道予測には効果がない。これは、さまざまなタイプの道路利用者間の暗黙の相関が予測される軌道に与える影響を無視しているためです。たとえば、近くの歩行者は近くの車とは異なるレベルの影響力を持っています。この論文では、個人の軌道をより正確に予測するために、クラス情報をグラフ畳み込みニューラルネットワークに導入することを提案します。周囲のオブジェクトのクラスラベルをラベル隣接行列(LAM)に埋め込みます。これは、オブジェクトの速度で構成される速度ベースの隣接行列(VAM)と組み合わされ、セマンティクスに基づくグラフ隣接(SAM)を生成します。 SAMは、トレーニング可能なパラメーターを使用してセマンティック情報を効果的にモデル化し、固定速度ベースの軌道に寄与する埋め込みラベル機能を自動的に学習します。空間的および時間的依存性のそのような情報は、予測された軌道分布を推定するために、グラフ畳み込みおよび時間畳み込みネットワークに渡されます。さらに、ネットワークの精度をより正確に評価する、Average2 Displacement Error(aADE)およびAverage Final Displacement Error(aFDE)と呼ばれる新しいメトリックを提案します。フレームワークをセマンティクス-STGCNNと呼びます。これは、既存および新たに提案されたメトリックの最先端よりも優れたパフォーマンスを一貫して示しています。
Predicting the movement trajectories of multiple classes of road users in real-world scenarios is a challenging task due to the diverse trajectory patterns. While recent works of pedestrian trajectory prediction successfully modelled the influence of surrounding neighbours based on the relative distances, they are ineffective on multi-class trajectory prediction. This is because they ignore the impact of the implicit correlations between different types of road users on the trajectory to be predicted - for example, a nearby pedestrian has a different level of influence from a nearby car. In this paper, we propose to introduce class information into a graph convolutional neural network to better predict the trajectory of an individual. We embed the class labels of the surrounding objects into the label adjacency matrix (LAM), which is combined with the velocity-based adjacency matrix (VAM) comprised of the objects' velocity, thereby generating a semantics-guided graph adjacency (SAM). SAM effectively models semantic information with trainable parameters to automatically learn the embedded label features that will contribute to the fixed velocity-based trajectory. Such information of spatial and temporal dependencies is passed to a graph convolutional and temporal convolutional network to estimate the predicted trajectory distributions. We further propose new metrics, known as Average2 Displacement Error (aADE) and Average Final Displacement Error (aFDE), that assess network accuracy more accurately. We call our framework Semantics-STGCNN. It consistently shows superior performance to the state-of-the-arts in existing and the newly proposed metrics.