歩行者の行動予測は、インテリジェント運転システムの主要な課題の1つです。歩行者は、さまざまな文脈要素の影響を受けた複雑な行動を示すことがよくあります。この問題に対処するために、マルチモーダルデータに依存して歩行者の軌道と行動を同時に予測するマルチタスク学習フレームワークであるBiPedを提案します。私たちの方法は、1)異なるデータモダリティが独立して処理され、独自の表現を開発し、共有パラメータを使用してすべてのモダリティの表現を共同で生成できる2つ折りエンコーディングアプローチの利点を備えています。 2)対象の歩行者とその周囲との間の相互作用をキャプチャするために、シーンのカテゴリセマンティック解析に依存する新しい相互作用モデリング手法。 3)マルチモーダル表現の独立したデコードと共有されたデコードの両方を使用する2つ折り予測メカニズム。運転、PIE、JAADの公共歩行者行動ベンチマークデータセットを使用して、提案された行動予測方法の利点を強調し、モデルが最先端のパフォーマンスを達成し、軌道と行動の予測を最大22%改善することを示します。それぞれ9%。さらに、広範なアブレーション研究を通じて、提案された推論手法の貢献を調査します。
Pedestrian behavior prediction is one of the major challenges for intelligent driving systems. Pedestrians often exhibit complex behaviors influenced by various contextual elements. To address this problem, we propose BiPed, a multitask learning framework that simultaneously predicts trajectories and actions of pedestrians by relying on multimodal data. Our method benefits from 1) a bifold encoding approach where different data modalities are processed independently allowing them to develop their own representations, and jointly to produce a representation for all modalities using shared parameters; 2) a novel interaction modeling technique that relies on categorical semantic parsing of the scenes to capture interactions between target pedestrians and their surroundings; and 3) a bifold prediction mechanism that uses both independent and shared decoding of multimodal representations. Using public pedestrian behavior benchmark datasets for driving, PIE and JAAD, we highlight the benefits of the proposed method for behavior prediction and show that our model achieves state-of-the-art performance and improves trajectory and action prediction by up to 22% and 9% respectively. We further investigate the contributions of the proposed reasoning techniques via extensive ablation studies.