ドライバーの視線は、部分的に自動化された車両から制御を引き継ぐための注意、状態、状況認識、および準備を決定するために重要です。視線方向を推定することは、非侵入型の画像センサーの使用に限定されている場合、理想的な条件下でドライバーの状態を測定する最も明白な方法です。残念ながら、車両環境では、過酷な照明、夜間の条件、反射眼鏡など、通常は説明できないさまざまな課題が発生します。このような状況で頭のポーズだけに頼ることは、信頼性が低く、誤りであることが判明する可能性があります。この調査では、現実の世界で遭遇するこれらの問題に対処するためのソリューションを提供します。照明の問題を解決するには、適切なイコライゼーションと正規化を備えた赤外線カメラを使用するだけで十分であることを示します。眼鏡とそれに対応するアーティファクトを処理するために、生成的敵対的ネットワークを使用した画像から画像への変換を採用して、視線推定の前に画像を前処理します。私たちが提案する視線保存CycleGAN(GPCycleGAN)は、顔画像から潜在的な眼鏡を取り除きながら、ドライバーの視線を維持するように訓練されています。 GPCycleGANは、よく知られているCycleGANアプローチに基づいており、注視分類子と注視一貫性の喪失が追加されて監視が追加されています。私たちのアプローチは、挑戦的な現実世界のデータセットで、パフォーマンス、解釈可能性、堅牢性、および優れた定性的結果の向上を示しています。
A driver's gaze is critical for determining their attention, state, situational awareness, and readiness to take over control from partially automated vehicles. Estimating the gaze direction is the most obvious way to gauge a driver's state under ideal conditions when limited to using non-intrusive imaging sensors. Unfortunately, the vehicular environment introduces a variety of challenges that are usually unaccounted for - harsh illumination, nighttime conditions, and reflective eyeglasses. Relying on head pose alone under such conditions can prove to be unreliable and erroneous. In this study, we offer solutions to address these problems encountered in the real world. To solve issues with lighting, we demonstrate that using an infrared camera with suitable equalization and normalization suffices. To handle eyeglasses and their corresponding artifacts, we adopt image-to-image translation using generative adversarial networks to pre-process images prior to gaze estimation. Our proposed Gaze Preserving CycleGAN (GPCycleGAN) is trained to preserve the driver's gaze while removing potential eyeglasses from face images. GPCycleGAN is based on the well-known CycleGAN approach - with the addition of a gaze classifier and a gaze consistency loss for additional supervision. Our approach exhibits improved performance, interpretability, robustness and superior qualitative results on challenging real-world datasets.