自動運転車では、認識アルゴリズムの高精度と堅牢性が求められます。効率的でスケーラブルな認識アルゴリズムを開発するには、利用可能なセンサー データから最大限の情報を抽出する必要があります。この研究では、DeepSTEP という名前のエンドツーエンドの認識アーキテクチャのコンセプトを紹介します。深層学習ベースのアーキテクチャは、カメラ、LiDAR、RaDAR からの生のセンサー データを処理し、抽出されたデータをディープ フュージョン ネットワークで結合します。この深層融合ネットワークの出力は共有特徴空間であり、知覚ヘッド ネットワークによって物体検出やローカル マッピングなどのいくつかの知覚タスクを実行するために使用されます。 DeepSTEP には、最先端技術を進歩させるための複数のアイデアが組み込まれています。まず、検出と位置特定を 1 つのパイプラインに組み合わせることで、効率的な処理が可能になり、計算オーバーヘッドが削減され、全体的なパフォーマンスがさらに向上します。第 2 に、このアーキテクチャは、最も重要な機能に焦点を当てたセルフ アテンション メカニズムを使用して、時間領域を活用します。私たちは、DeepSTEP のコンセプトがエンドツーエンドの認識システムの開発を前進させると信じています。このネットワークは当社の研究車両に導入され、データ収集、実際のテスト、検証のためのプラットフォームとして使用されます。結論として、DeepSTEP は自動運転車の認識分野における大きな進歩を示しています。このアーキテクチャのエンドツーエンド設計、時間認識の注意メカニズム、および複数の認識タスクの統合により、このアーキテクチャは現実世界の展開に有望なソリューションとなります。この研究は進行中の研究であり、新しい知覚パイプラインを確立する最初の概念を示しています。
Autonomous vehicles demand high accuracy and robustness of perception algorithms. To develop efficient and scalable perception algorithms, the maximum information should be extracted from the available sensor data. In this work, we present our concept for an end-to-end perception architecture, named DeepSTEP. The deep learning-based architecture processes raw sensor data from the camera, LiDAR, and RaDAR, and combines the extracted data in a deep fusion network. The output of this deep fusion network is a shared feature space, which is used by perception head networks to fulfill several perception tasks, such as object detection or local mapping. DeepSTEP incorporates multiple ideas to advance state of the art: First, combining detection and localization into a single pipeline allows for efficient processing to reduce computational overhead and further improves overall performance. Second, the architecture leverages the temporal domain by using a self-attention mechanism that focuses on the most important features. We believe that our concept of DeepSTEP will advance the development of end-to-end perception systems. The network will be deployed on our research vehicle, which will be used as a platform for data collection, real-world testing, and validation. In conclusion, DeepSTEP represents a significant advancement in the field of perception for autonomous vehicles. The architecture's end-to-end design, time-aware attention mechanism, and integration of multiple perception tasks make it a promising solution for real-world deployment. This research is a work in progress and presents the first concept of establishing a novel perception pipeline.