arXiv reaDer
Multimodal Interaction-aware Motion Prediction for Autonomous Street Crossing
 歩道を移動する移動ロボットの場合、交差点を安全に横断できることが不可欠です。既存のほとんどのアプローチは、信号機の認識に基づいて、情報に基づいた交差点を決定します。これらのアプローチはアーバンナビゲーションの重要なイネーブラーでしたが、そのようなアプローチを採用するロボットの機能は、信号交差点を含む道路のみをナビゲートすることに限定されています。このペーパーでは、この課題に取り組み、交差点の道路交差点の安全性を予測するためのマルチモーダルたたみ込みニューラルネットワークフレームワークを提案します。私たちのアーキテクチャは2つのサブネットワークで構成されています。シーンで観測されたすべての交通参加者の将来の状態を予測する相互作用認識軌道推定ストリームIA-TCNN、および信号認識ストリームAtteNet。私たちのIA-TCNNは、拡張された因果的畳み込みを利用して、それらの間の相互作用に明示的に優先順位を割り当てることなく、シーン内の観測可能な動的エージェントの動作をモデル化します。 AtteNetはSqueeze-Excitationブロックを利用して、データから関連機能を選択するためのコンテンツ認識メカニズムを学習し、それによってノイズの堅牢性を向上させます。信号機認識ストリームから学習された表現は、モーション予測ストリームから推定された軌跡と融合して、交差点の決定を学習します。さらに、以前に導入したフライブルクストリートクロッシングデータセットを拡張して、さまざまなタイプの交差点でキャプチャされたシーケンスを使用して、交通参加者間の複雑な相互作用を示します。パブリックベンチマークデータセットと提案されたデータセットに対する広範な実験的評価は、私たちのネットワークが各サブタスクと交差安全予測について最先端のパフォーマンスを達成していることを示しています。
For mobile robots navigating on sidewalks, it is essential to be able to safely cross street intersections. Most existing approaches rely on the recognition of the traffic light signal to make an informed crossing decision. Although these approaches have been crucial enablers for urban navigation, the capabilities of robots employing such approaches are still limited to navigating only on streets containing signalized intersections. In this paper, we address this challenge and propose a multimodal convolutional neural network framework to predict the safety of a street intersection for crossing. Our architecture consists of two subnetworks; an interaction-aware trajectory estimation stream IA-TCNN, that predicts the future states of all observed traffic participants in the scene, and a traffic light recognition stream AtteNet. Our IA-TCNN utilizes dilated causal convolutions to model the behavior of the observable dynamic agents in the scene without explicitly assigning priorities to the interactions among them. While AtteNet utilizes Squeeze-Excitation blocks to learn a content-aware mechanism for selecting the relevant features from the data, thereby improving the noise robustness. Learned representations from the traffic light recognition stream are fused with the estimated trajectories from the motion prediction stream to learn the crossing decision. Furthermore, we extend our previously introduced Freiburg Street Crossing dataset with sequences captured at different types of intersections, demonstrating complex interactions among the traffic participants. Extensive experimental evaluations on public benchmark datasets and our proposed dataset demonstrate that our network achieves state-of-the-art performance for each of the subtasks, as well as for the crossing safety prediction.
updated: Mon Aug 03 2020 16:41:58 GMT+0000 (UTC)
published: Tue Aug 21 2018 13:18:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト