3D視線の推定は、インタラクティブシステム、専門のヒューマンコンピューターインターフェイス、行動研究など、複数の分野に非常に関連しています。最近の深層学習手法により、外観ベースの視線推定の精度が向上しましたが、この特定のタスクのネットワークアーキテクチャにはまだ改善の余地があります。したがって、ここでは、浅い残差ネットワークのトレーニング中に学習された機能の品質を向上させるために、自己注意増強畳み込みに基づいた新しいネットワークアーキテクチャを提案します。理論的根拠は、自己注意メカニズムがフルフェイス画像の遠方の領域間の依存関係を学習することにより、より深いアーキテクチャよりも優れたパフォーマンスを発揮できることです。このメカニズムは、視線回帰の前に、顔と目の画像から派生した、より優れた空間認識型のフィーチャ表現を作成することもできます。フレームワークARes-gazeを吹き替えました。このフレームワークは、注意を強化したResNet(ARes-14)をツイン畳み込みバックボーンとして探索します。私たちの実験では、MPIIFaceGazeデータセットの最先端のメソッドとEyeDiapデータセットの2位に比べて、平均角度誤差が2.38%減少したことが結果で示されました。注目すべきは、提案されたフレームワークが、両方のデータセットで同時に高精度に到達する唯一のフレームワークであったことです。
Estimation of 3D gaze is highly relevant to multiple fields, including but not limited to interactive systems, specialized human-computer interfaces, and behavioral research. Although recently deep learning methods have boosted the accuracy of appearance-based gaze estimation, there is still room for improvement in the network architectures for this particular task. Therefore we propose here a novel network architecture grounded on self-attention augmented convolutions to improve the quality of the learned features during the training of a shallower residual network. The rationale is that self-attention mechanism can help outperform deeper architectures by learning dependencies between distant regions in full-face images. This mechanism can also create better and more spatially-aware feature representations derived from the face and eye images before gaze regression. We dubbed our framework ARes-gaze, which explores our Attention-augmented ResNet (ARes-14) as twin convolutional backbones. In our experiments, results showed a decrease of the average angular error by 2.38% when compared to state-of-the-art methods on the MPIIFaceGaze data set, and a second-place on the EyeDiap data set. It is noteworthy that our proposed framework was the only one to reach high accuracy simultaneously on both data sets.