arXiv reaDer
Real-time monitoring of driver drowsiness on mobile platforms using 3D neural networks
  ドライバーの眠気は衝突のリスクを高め、毎年かなりの道路外傷を引き起こします。眠気検出方法はかなり注目されていますが、携帯電話での検出アプローチの実装を調査した研究はほとんどありません。電話アプリケーションは、特殊なハードウェアの必要性を減らすため、運転人口全体で費用対効果の高い技術の展開を可能にします。 3次元(3D)操作は時空間特徴学習により適していることが示されていますが、眠気検出の現在の方法では、フレームベースのマルチステップアプローチが一般的に使用されています。ただし、アクション認識ベンチマーク(3D畳み込み、オプティカルフロー抽出など)で優れた結果を達成する計算コストの高い手法は、モバイルデバイス上のリアルタイムで安全性が重要なアプリケーションのボトルネックを作成します。ここでは、深さ方向に分離可能な3D畳み込みを、空間情報と時間情報の早期融合と組み合わせて、高い予測精度とリアルタイムの推論要件のバランスを実現する方法を示します。特に、サングラスが目を隠す場合など、評価に動きの情報が必要な場合、精度が向上します。さらに、カスタムTensorFlowベースのスマートフォンアプリケーションは、推論時間に対するさまざまなアプローチの真の影響を示し、眠気のあるドライバーに警告するためのサンプル外データに基づくリアルタイム監視の有効性を実証します。このモデルは、ImageNetおよびKineticsで事前にトレーニングされ、一般公開されているDriver Drowsiness Detectionデータセットで微調整されています。大規模な自然主義的な運転データセットを微調整すると、精度がさらに向上し、堅牢な車内性能が得られます。全体として、私たちの研究は、潜在的なマイクロスリープを防ぎ、道路の外傷を減らす可能性のある、実用的なディープラーニングへの一歩です。
Driver drowsiness increases crash risk, leading to substantial road trauma each year. Drowsiness detection methods have received considerable attention, but few studies have investigated the implementation of a detection approach on a mobile phone. Phone applications reduce the need for specialised hardware and hence, enable a cost-effective roll-out of the technology across the driving population. While it has been shown that three-dimensional (3D) operations are more suitable for spatiotemporal feature learning, current methods for drowsiness detection commonly use frame-based, multi-step approaches. However, computationally expensive techniques that achieve superior results on action recognition benchmarks (e.g. 3D convolutions, optical flow extraction) create bottlenecks for real-time, safety-critical applications on mobile devices. Here, we show how depthwise separable 3D convolutions, combined with an early fusion of spatial and temporal information, can achieve a balance between high prediction accuracy and real-time inference requirements. In particular, increased accuracy is achieved when assessment requires motion information, for example, when sunglasses conceal the eyes. Further, a custom TensorFlow-based smartphone application shows the true impact of various approaches on inference times and demonstrates the effectiveness of real-time monitoring based on out-of-sample data to alert a drowsy driver. Our model is pre-trained on ImageNet and Kinetics and fine-tuned on a publicly available Driver Drowsiness Detection dataset. Fine-tuning on large naturalistic driving datasets could further improve accuracy to obtain robust in-vehicle performance. Overall, our research is a step towards practical deep learning applications, potentially preventing micro-sleeps and reducing road trauma.
updated: Tue Oct 15 2019 05:44:28 GMT+0000 (UTC)
published: Tue Oct 15 2019 05:44:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト