視線推定は、人がどこを見ているかを明らかにします。それは人間の意図を理解するための重要な手がかりです。ディープラーニングの最近の開発は、多くのコンピュータービジョンタスクに革命をもたらしました。外観ベースの視線推定も例外ではありません。ただし、視線推定タスクの深層学習アルゴリズムを設計するためのガイドラインがありません。この論文では、深層学習による外観ベースの視線推定方法の包括的なレビューを提示します。処理パイプラインを要約し、これらの方法について、深層特徴抽出、深層ニューラルネットワークアーキテクチャの設計、個人用キャリブレーション、デバイスとプラットフォームの4つの観点から説明します。データの前処理と後処理の方法は視線推定に不可欠であるため、顔/目の検出方法、データ修正方法、2D / 3D視線変換方法、および視線原点変換方法についても調査します。さまざまな視線推定アプローチのパフォーマンスを公正に比較するために、公開されているすべての視線推定データセットを特徴付け、一般的な視線推定アルゴリズムのコードを収集します。これらのコードを実装し、さまざまな方法の結果を同じ評価指標に変換するベンチマークを設定します。この論文は、深層学習に基づく視線推定方法を開発するための参照として役立つだけでなく、将来の視線推定研究のためのガイドラインとしても役立ちます。実装されたメソッドとデータ処理コードは、http://phi-ai.org/GazeHubで入手できます。
Gaze estimation reveals where a person is looking. It is an important clue for understanding human intention. The recent development of deep learning has revolutionized many computer vision tasks, the appearance-based gaze estimation is no exception. However, it lacks a guideline for designing deep learning algorithms for gaze estimation tasks. In this paper, we present a comprehensive review of the appearance-based gaze estimation methods with deep learning. We summarize the processing pipeline and discuss these methods from four perspectives: deep feature extraction, deep neural network architecture design, personal calibration as well as device and platform. Since the data pre-processing and post-processing methods are crucial for gaze estimation, we also survey face/eye detection method, data rectification method, 2D/3D gaze conversion method, and gaze origin conversion method. To fairly compare the performance of various gaze estimation approaches, we characterize all the publicly available gaze estimation datasets and collect the code of typical gaze estimation algorithms. We implement these codes and set up a benchmark of converting the results of different methods into the same evaluation metrics. This paper not only serves as a reference to develop deep learning-based gaze estimation methods but also a guideline for future gaze estimation research. Implemented methods and data processing codes are available at http://phi-ai.org/GazeHub.