視線追従は、ターゲットの位置を予測するか、ターゲットが画像の外にあることを示すことによって、人がシーン内のどこを見ているかを予測することを目的としています。最近の研究では、イン/アウト予測タスクをバイナリ分類タスクとして定式化しながら、ピクセル単位の平均二乗誤差 (MSE) 損失を使用してヒートマップ回帰タスクをトレーニングすることにより、視線ターゲットを検出します。このトレーニング定式化では、トレーニングで利用可能な単一の注釈に対して、より高い解像度で厳密なピクセル レベルの制約を適用し、注釈の分散と 2 つのサブタスク間の相関関係を考慮しません。これらの問題に対処するために、パッチ配布予測 (PDP) メソッドを導入します。外部ケースも考慮したパッチレベルの視線分布を予測することにより、以前のモデルのイン/アウト予測ブランチを PDP ブランチに置き換えます。実験は、私たちのモデルが、より大きな注釈分散を持つ画像のより良いヒートマップ分布を予測することにより、MSE 損失を正則化することを示しています。一方、ターゲット予測とイン/アウト予測サブタスクの間のギャップを埋め、データセットに続く公共の視線の両方のサブタスクでパフォーマンスの大幅な改善を示しています。 .
Gaze following aims to predict where a person is looking in a scene, by predicting the target location, or indicating that the target is located outside the image. Recent works detect the gaze target by training a heatmap regression task with a pixel-wise mean-square error (MSE) loss, while formulating the in/out prediction task as a binary classification task. This training formulation puts a strict, pixel-level constraint in higher resolution on the single annotation available in training, and does not consider annotation variance and the correlation between the two subtasks. To address these issues, we introduce the patch distribution prediction (PDP) method. We replace the in/out prediction branch in previous models with the PDP branch, by predicting a patch-level gaze distribution that also considers the outside cases. Experiments show that our model regularizes the MSE loss by predicting better heatmap distributions on images with larger annotation variances, meanwhile bridging the gap between the target prediction and in/out prediction subtasks, showing a significant improvement in performance on both subtasks on public gaze following datasets.