自動運転車のディープラーニング モデルには、公道での重要な運転シナリオを安全に管理するための多様なトレーニング データセットが必要です。これには、対向車線や歩道などの発散軌道からのデータが含まれます。このようなデータは、現実世界で収集するには危険すぎるでしょう。 RGB 画像を使用してこの問題に取り組むデータ拡張アプローチが提案されています。ただし、LiDAR センサーに基づくソリューションはほとんどありません。したがって、危険な位置で物理的に運転する必要がなく、新しい視点から追加の LiDAR 点群を合成するアプローチを提案します。 LiDAR ビューの合成は、メッシュ再構成とレイ キャスティングを使用して行われます。 LiDAR スキャンを入力として受け取り、将来の軌道を出力として予測する深層学習モデルをトレーニングします。次に、ウェイポイント コントローラーがこの予測軌道に適用され、自車両のスロットルとステアリングのラベルが決定されます。私たちの方法では、オリジナルの LiDAR シーケンスや合成された LiDAR シーケンスの専門的な運転ラベルは必要ありません。代わりに、LiDAR オドメトリからラベルを推測します。私たちは、包括的なオンライン評価と同時作業との比較により、アプローチの有効性を実証します。私たちの結果は、特にモデルの堅牢性の観点から、追加の LiDAR 点群を合成することの重要性を示しています。コードと補足の視覚化は https://jonathsch.github.io/lidar-Synthetic/ で入手できます。
Deep learning models for self-driving cars require a diverse training dataset to safely manage critical driving scenarios on public roads. This includes having data from divergent trajectories such as the oncoming traffic lane or sidewalks. Such data would be too dangerous to collect in the real world. Data augmentation approaches have been proposed to tackle this issue using RGB images. However, solutions based on LiDAR sensors are scarce. We therefore propose an approach to synthesize additional LiDAR point clouds from novel viewpoints without having the need to physically drive at dangerous positions. The LiDAR view synthesis is done using mesh reconstruction and ray casting. We train a deep learning model, which takes a LiDAR scan as input and predicts the future trajectory as output. A waypoint controller is then applied on this predicted trajectory to determine the throttle and steering labels of the ego-vehicle. Our method neither requires expert driving labels for the original nor for the synthesized LiDAR sequence. Instead, we infer labels from LiDAR odometry. We demonstrate the effectiveness of our approach in a comprehensive online evaluation and with a comparison to concurrent work. Our results show the importance of synthesizing additional LiDAR point clouds, particularly in terms of model robustness. Code and supplementary visualizations are available at https://jonathsch.github.io/lidar-synthesis/ .