乗用車の自動化が進むにつれ、乗員と車両の安全でスムーズな相互作用と制御の移行を研究することが重要になります。この研究では、ドライバーの状態の文脈的で意味的に意味のある表現の開発に焦点を当てます。これは、ドライバーと車両の間で制御を移すための適切なタイミングと条件を決定するために使用できます。この目的のために、私たちは大規模な実世界の制御されたデータ研究を実施します。参加者は、さまざまな気を散らす活動に従事しながら、さまざまな運転条件下で自律エージェントから制御を引き継ぐように指示されます。これらのテイクオーバーイベントは、複数のドライバー向けカメラを使用してキャプチャされ、ラベルが付けられると、制御遷移とそれに対応するテイクオーバー時間(TOT)のデータセットが生成されます。次に、さまざまなドライバー向けカメラビューで動作するコンピュータービジョンアルゴリズムによって生成された中レベルから高レベルの機能で順次動作するTOTモデルを開発し、トレーニングします。提案されたTOTモデルは、テイクオーバー時間の継続的な見積もりを遅滞なく生成し、複雑な現実世界のシナリオで有望な定性的および定量的結果を示します。
With increasing automation in passenger vehicles, the study of safe and smooth occupant-vehicle interaction and control transitions is key. In this study, we focus on the development of contextual, semantically meaningful representations of the driver state, which can then be used to determine the appropriate timing and conditions for transfer of control between driver and vehicle. To this end, we conduct a large-scale real-world controlled data study where participants are instructed to take-over control from an autonomous agent under different driving conditions while engaged in a variety of distracting activities. These take-over events are captured using multiple driver-facing cameras, which when labelled result in a dataset of control transitions and their corresponding take-over times (TOTs). We then develop and train TOT models that operate sequentially on mid to high-level features produced by computer vision algorithms operating on different driver-facing camera views. The proposed TOT model produces continuous estimates of take-over times without delay, and shows promising qualitative and quantitative results in complex real-world scenarios.