arXiv reaDer
自動運転車におけるドライバー観察モデルのシミュレーション環境から実環境への移行可能性について
On Transferability of Driver Observation Models from Simulated to Real Environments in Autonomous Cars
ドライバー観察フレームワークの場合、制御されたシミュレート環境で収集されたクリーンなデータセットが最初のトレーニングの場として機能することがよくあります。しかし、このようなシミュレーターで訓練されたモデルを実際の運転条件下で展開すると、照明、自動車モデル、被写体の外観の変化、センサーの不一致、その他の環境変化の変化によってもたらされる分布の変化という問題にすぐに直面します。この論文では、安全性の問題によりこの領域でシミュレーション データが頻繁に使用されることを考慮して、自動運転車におけるビデオベースのドライバー観察モデルをシミュレーションから現実世界のシナリオに移行する実現可能性を調査します。これを達成するために、実際の自動運転状況を特徴とし、非常に気が散る二次的な活動に従事する 7 人の参加者が関与するデータセットを記録します。 SIM から REAL への直接転送を可能にするために、私たちのデータセットは、トレーニング ソースとして使用される既存の大規模シミュレーター データセットに従って設計されました。当社では、ドライバー観察によく選ばれている Infrated 3D ConvNet (I3D) モデルを、モデルの意思決定の詳細な分析に使用する勾配加重クラス アクティベーション マッピング (Grad-CAM) とともに利用します。シミュレーターベースのモデルはランダムなベースラインを明らかに上回っていますが、その認識品質は低下し、平均精度は 85.7% から 46.6% に低下しました。また、さまざまな行動クラス間での強い変動も観察されています。これはモデルの転送可能性の課題を浮き彫りにし、実際の運転状況に対処できるより堅牢なドライバー観察システムの研究を促進します。
For driver observation frameworks, clean datasets collected in controlled simulated environments often serve as the initial training ground. Yet, when deployed under real driving conditions, such simulator-trained models quickly face the problem of distributional shifts brought about by changing illumination, car model, variations in subject appearances, sensor discrepancies, and other environmental alterations. This paper investigates the viability of transferring video-based driver observation models from simulation to real-world scenarios in autonomous vehicles, given the frequent use of simulation data in this domain due to safety issues. To achieve this, we record a dataset featuring actual autonomous driving conditions and involving seven participants engaged in highly distracting secondary activities. To enable direct SIM to REAL transfer, our dataset was designed in accordance with an existing large-scale simulator dataset used as the training source. We utilize the Inflated 3D ConvNet (I3D) model, a popular choice for driver observation, with Gradient-weighted Class Activation Mapping (Grad-CAM) for detailed analysis of model decision-making. Though the simulator-based model clearly surpasses the random baseline, its recognition quality diminishes, with average accuracy dropping from 85.7% to 46.6%. We also observe strong variations across different behavior classes. This underscores the challenges of model transferability, facilitating our research of more robust driver observation systems capable of dealing with real driving conditions.
updated: Mon Jul 31 2023 10:18:49 GMT+0000 (UTC)
published: Mon Jul 31 2023 10:18:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト