ドライバー モニタリング システム (DMS) は、車両の安全性の重要な要素であり、半自動運転から完全自動運転への移行に不可欠です。 DMS の重要なタスクは、ドライバーの認知状態を確認し、疲労度を判断することです。イベント カメラ技術に基づくニューロモルフィック ビジョン システムは、顔の特徴、特にドライバーの目の動きの高度なセンシングを提供します。この研究では、ニューロモルフィック センシング技術を拡張して顔領域全体を分析し、疲労の補完的な指標となるあくび行動を検出する可能性を探っています。ニューロモルフィック データセットは、37 人の被験者を対象に、RGB カラー カメラでキャプチャされた 952 のビデオ クリップ (481 のあくび、471 のないあくび) から構築されます。ビデオからイベントへのコンバーターを使用して、このビデオ データから合計 95200 個のニューロモルフィック イメージ フレームが生成されます。これらのデータから、トレーニング データセットを提供するために 21 人の被験者が選択され、8 人の被験者が検証データに使用され、残りの 8 人の被験者は「目に見えない」テスト データセット用に予約されました。公開データセットのイベント シミュレーションから追加の 12300 フレームが生成され、他の方法に対してテストされました。自己注意とリカレント ヘッドを備えた CNN は、これらのデータを使用して設計、トレーニング、およびテストされました。私たちのテスト セットではそれぞれ 95.9% と 94.7% の精度と再現率のスコアが達成され、シミュレートされた公開テスト セットでは 89.9% と 91% が達成され、ニューロモルフィック DMS のセンシング コンポーネントとしてあくび検出を追加する可能性が実証されました。
Driver monitoring systems (DMS) are a key component of vehicular safety and essential for the transition from semiautonomous to fully autonomous driving. A key task for DMS is to ascertain the cognitive state of a driver and to determine their level of tiredness. Neuromorphic vision systems, based on event camera technology, provide advanced sensing of facial characteristics, in particular the behavior of a driver's eyes. This research explores the potential to extend neuromorphic sensing techniques to analyze the entire facial region, detecting yawning behaviors that give a complimentary indicator of tiredness. A neuromorphic dataset is constructed from 952 video clips (481 yawns, 471 not-yawns) captured with an RGB color camera, with 37 subjects. A total of 95200 neuromorphic image frames are generated from this video data using a video-to-event converter. From these data 21 subjects were selected to provide a training dataset, 8 subjects were used for validation data, and the remaining 8 subjects were reserved for an "unseen" test dataset. An additional 12300 frames were generated from event simulations of a public dataset to test against other methods. A CNN with self-attention and a recurrent head was designed, trained, and tested with these data. Respective precision and recall scores of 95.9 percent and 94.7 percent were achieved on our test set, and 89.9 percent and 91 percent on the simulated public test set, demonstrating the feasibility to add yawn detection as a sensing component of a neuromorphic DMS.