知覚ベースの学習システムの安全性を保証することは、状態認識制御シナリオとは異なり、グラウンドトゥルース状態情報がないために困難です。この論文では、ビジョンベースのエンドツーエンド自動運転のための安全性が保証された学習フレームワークを紹介します。この目的のために、勾配降下法によってエンドツーエンドでトレーニングされる微分可能制御バリア関数(dCBF)を備えた学習システムを設計します。私たちのモデルは、従来のニューラルネットワークアーキテクチャとdCBFで構成されています。それらは大規模に解釈可能であり、限られたトレーニングデータの下で優れたテストパフォーマンスを達成し、車線維持や障害物回避などの一連の自動運転シナリオで安全性が保証されています。フレームワークを実際の環境で評価し、実際の自動運転車でテストし、拡張現実(AR)と実際の駐車車両を介して安全な車線追跡と障害物回避を実現しました。
Guaranteeing safety of perception-based learning systems is challenging due to the absence of ground-truth state information unlike in state-aware control scenarios. In this paper, we introduce a safety guaranteed learning framework for vision-based end-to-end autonomous driving. To this end, we design a learning system equipped with differentiable control barrier functions (dCBFs) that is trained end-to-end by gradient descent. Our models are composed of conventional neural network architectures and dCBFs. They are interpretable at scale, achieve great test performance under limited training data, and are safety guaranteed in a series of autonomous driving scenarios such as lane keeping and obstacle avoidance. We evaluated our framework in a sim-to-real environment, and tested on a real autonomous car, achieving safe lane following and obstacle avoidance via Augmented Reality (AR) and real parked vehicles.