個人固有の違いを明示的にモデル化することによってのみ、目/顔の画像を使用して個人間の視線予測タスクを洗練する新しい方法を提案します。具体的には、まず、InitNetと呼ばれる既存の方法で初期の視線予測結果を取得できると想定し、次に、妥当性モジュール(VM)、自己キャリブレーション(SC)、および個人固有の変換( PT))モジュール。現在の目/顔の画像の信頼性を予測することで、VMは無効なサンプル、たとえばまばたきの画像を識別し、モデリングプロセスでの影響を減らすことができます。次に、SCおよびPTモジュールは、有効なサンプルのみの違いを補正することを学習します。前者は、初期予測とデータセットごとの分布の間のギャップを埋めることによって、変換オフセットをモデル化します。そして後者は、同じ人の既存の初期予測からの情報を組み込むことによって、より一般的な人固有の変換を学習します。 3つの公開されているデータセット、EVE、XGaze、MPIIGazeでアイデアを検証し、提案された方法がすべてのデータセットでSOTA方法よりも大幅に優れていることを示します。たとえば、それぞれ21.7%、36.0%、32.9%の相対的なパフォーマンスの向上です。 EVEデータセットでGAZE2021コンペティションに優勝しました。私たちのコードはhttps://github.com/bjj9/EVE_SCPTにあります。
We propose a novel method on refining cross-person gaze prediction task with eye/face images only by explicitly modelling the person-specific differences. Specifically, we first assume that we can obtain some initial gaze prediction results with existing method, which we refer to as InitNet, and then introduce three modules, the Validity Module (VM), Self-Calibration (SC) and Person-specific Transform (PT)) Module. By predicting the reliability of current eye/face images, our VM is able to identify invalid samples, e.g. eye blinking images, and reduce their effects in our modelling process. Our SC and PT module then learn to compensate for the differences on valid samples only. The former models the translation offsets by bridging the gap between initial predictions and dataset-wise distribution. And the later learns more general person-specific transformation by incorporating the information from existing initial predictions of the same person. We validate our ideas on three publicly available datasets, EVE, XGaze and MPIIGaze and demonstrate that our proposed method outperforms the SOTA methods significantly on all of them, e.g. respectively 21.7%, 36.0% and 32.9% relative performance improvements. We won the GAZE 2021 Competition on the EVE dataset. Our code can be found here https://github.com/bjj9/EVE_SCPT.