運転の観点からドライバーの注意を予測する問題は、自動運転と運転支援システムにとって非常に重要であるため、研究の焦点がますます高まっています。運転経験はドライバーの注意予測にとって非常に重要です。熟練したドライバーは、運転経験に基づいて迫り来る危険を (それが顕著になる前に) 容易に予測し、対応するゾーンにすばやく注意を向けることができます。ただし、非客観的な運転経験はモデル化が難しいため、既存の方法にはドライバー経験の蓄積手順をシミュレートするメカニズムがなく、既存の方法は通常、顕著性予測方法の技術ラインに従ってドライバーの注意を予測します。この論文では、運転経験蓄積手順のモデル化を試みるフィードバック ループ ネットワーク (FBLNet) を提案します。何度も繰り返すことで、FBLNet は豊富な歴史的に蓄積された長期的な時間情報を運ぶ増分知識を生成します。私たちのモデルへの漸進的な知識は、人間にとっての運転経験のようなものです。増分知識のガイダンスの下で、モデルは入力画像から抽出された CNN 機能と Transformer 機能を融合して、ドライバーの注意を予測します。私たちのモデルは、既存の方法よりも優れた利点を示しており、3 つの公開データセットで平均 10.3% のパフォーマンス向上を達成しています。
The problem of predicting driver attention from the driving perspective is gaining the increasing research focuses due to its remarkable significance for autonomous driving and assisted driving systems. Driving experience is extremely important for driver attention prediction, a skilled driver is able to effortlessly predict oncoming danger (before it becomes salient) based on driving experience and quickly pay attention on the corresponding zones. However, the nonobjective driving experience is difficult to model, so a mechanism simulating driver experience accumulation procedure is absent in existing methods, and the existing methods usually follow the technique line of saliency prediction methods to predict driver attention. In this paper, we propose a FeedBack Loop Network (FBLNet), which attempts to model the driving experience accumulation procedure. By over-and-over iterations, FBLNet generates the incremental knowledge that carries rich historically-accumulative long-term temporal information. The incremental knowledge to our model is like the driving experience to humans. Under the guidance of the incremental knowledge, our model fuses the CNN feature and Transformer feature that are extracted from the input image to predict driver attention. Our model exhibits solid advantage over existing methods, achieving an average 10.3% performance improvement on three public datasets.