深層学習技術を用いた視線推定手法は開発されてきましたが、画素幅50ピクセル以下の低解像度の顔画像において精度の高い性能を目指すアプローチはありませんでした。困難な低解像度条件下での制限を解決するために、高周波注意深い超解像視線推定ネットワーク、すなわち HAZE-Net を提案します。私たちのネットワークは、入力画像の解像度を改善し、高周波注意ブロックに基づく提案された超解像モジュールを介して、目の特徴とそれらの境界を強化します。さらに、当社の視線推定モジュールは、目の高周波成分とグローバル アピアランス マップを利用します。また、顔の構造上の位置情報を利用して、頭の姿勢を近似します。実験結果は、提案された方法が 28x28 ピクセルの低解像度の顔画像でもロバストな視線推定性能を示すことを示しています。この作品のソース コードは、https://github.com/dbseorms16/HAZE_Net/ で入手できます。
Although gaze estimation methods have been developed with deep learning techniques, there has been no such approach as aim to attain accurate performance in low-resolution face images with a pixel width of 50 pixels or less. To solve a limitation under the challenging low-resolution conditions, we propose a high-frequency attentive super-resolved gaze estimation network, i.e., HAZE-Net. Our network improves the resolution of the input image and enhances the eye features and those boundaries via a proposed super-resolution module based on a high-frequency attention block. In addition, our gaze estimation module utilizes high-frequency components of the eye as well as the global appearance map. We also utilize the structural location information of faces to approximate head pose. The experimental results indicate that the proposed method exhibits robust gaze estimation performance even in low-resolution face images with 28x28 pixels. The source code of this work is available at https://github.com/dbseorms16/HAZE_Net/.