arXiv reaDer
Driver Behavior Recognition via Interwoven Deep Convolutional Neural Nets with Multi-stream Inputs
ドライバーの活動を理解することは、認知的注意散漫に根ざした自動車事故の発生率を減らすことを目的とした車載システムにとって不可欠です。ただし、ドライバーを取り巻くさまざまな状況、個人の固有の特性、および車載組み込みプラットフォームによって課せられる計算上の制約を考えると、高精度のアクション分類を保証しながらリアルタイムの行動認識を自動化することは困難です。以前の作業では、これらのランタイム/精度の要件を共同で満たすことができず、ほとんどの場合、単一のセンシングモダリティに依存しています。これは単一障害点になる可能性があります。この論文では、深層学習の優れた特徴抽出機能を利用し、ドライバーの行動をリアルタイムで正確に分類する問題に取り組むために、専用のInterwoven Deep Convolutional Neural Network(InterCNN)アーキテクチャを提案します。提案されたソリューションは、マルチストリーム入力、つまり、記録された画像に基づいて計算されたさまざまな視野とオプティカルフローを備えた車載カメラからの情報を活用し、抽出した特徴を複数の融合レイヤーを介してマージします。これにより、緊密なアンサンブルシステムが構築され、モデルの堅牢性が大幅に向上します。さらに、分類の精度を高めるために、履歴推論インスタンスに基づく一時的な投票スキームを導入します。モックアップカー環境で収集したデータセットを使用して実施した実験は、提案されたMobileNet畳み込みブロックを使用したInterCNNが、73.97%の精度で9つの異なる動作を分類し、81.66%の精度で5つの「集約」動作を分類できることを示しています。さらに、15ミリ秒以内に推論を実行し、インテリジェントカーのリアルタイムの制約を満たすため、アーキテクチャが非常に計算効率が高いことを示します。それでも、2つの入力ストリームが遮られても分類は正確なままであるため、InterCNNは損失のある入力に対して堅牢です。
Understanding driver activity is vital for in-vehicle systems that aim to reduce the incidence of car accidents rooted in cognitive distraction. Automating real-time behavior recognition while ensuring actions classification with high accuracy is however challenging, given the multitude of circumstances surrounding drivers, the unique traits of individuals, and the computational constraints imposed by in-vehicle embedded platforms. Prior work fails to jointly meet these runtime/accuracy requirements and mostly rely on a single sensing modality, which in turn can be a single point of failure. In this paper, we harness the exceptional feature extraction abilities of deep learning and propose a dedicated Interwoven Deep Convolutional Neural Network (InterCNN) architecture to tackle the problem of accurate classification of driver behaviors in real-time. The proposed solution exploits information from multi-stream inputs, i.e., in-vehicle cameras with different fields of view and optical flows computed based on recorded images, and merges through multiple fusion layers abstract features that it extracts. This builds a tight ensembling system, which significantly improves the robustness of the model. In addition, we introduce a temporal voting scheme based on historical inference instances, to enhance the classification accuracy. Experiments conducted with a dataset that we collect in a mock-up car environment demonstrate that the proposed InterCNN with MobileNet convolutional blocks can classify 9 different behaviors with 73.97% accuracy, and 5 'aggregated' behaviors with 81.66% accuracy. We further show that our architecture is highly computationally efficient, as it performs inferences within 15ms, which satisfies the real-time constraints of intelligent cars. Nevertheless, our InterCNN is robust to lossy input, as the classification remains accurate when two input streams are occluded.
updated: Sun Feb 21 2021 22:28:04 GMT+0000 (UTC)
published: Thu Nov 22 2018 12:05:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト