視線推定手法は、単一のカメラで顔の外観から視線を推定します。しかし、単一カメラの視野は限られているため、キャプチャされた顔の外観から完全な顔情報を提供することはできず、視線推定の問題が複雑になります。最近、カメラデバイスは急速にアップデートされています。デュアル カメラはユーザーにとって手頃な価格であり、多くのデバイスに統合されています。この開発は、デュアルビュー視線推定により視線推定パフォーマンスをさらに向上できることを示唆しています。本稿では、デュアルビュー視線推定ネットワーク (DV-Gaze) を提案します。 DV-Gaze は、一対の画像からデュアルビューの視線方向を推定します。まず、DV-Gaze のデュアルビュー インタラクティブ コンボリューション (DIC) ブロックを提案します。 DIC ブロックは、複数の特徴スケールでの畳み込み中にデュアルビュー情報を交換します。エピポーラ ラインに沿ってデュアルビュー フィーチャを融合し、融合されたフィーチャで元のフィーチャを補償します。さらに、デュアルビュー特徴から視線を推定するデュアルビュー変換器を提案します。カメラのポーズは、トランスフォーマー内の位置情報を示すためにエンコードされます。また、二重視点の視線方向間の幾何学的関係を考慮し、DV-Gaze に対する二重視点の視線一貫性損失を提案します。 DV-Gaze は、ETH-XGaze および EVE データセットで最先端のパフォーマンスを実現します。私たちの実験は、二重視点視線推定の可能性も証明しています。 https://github.com/yihuacheng/DVGaze でコードをリリースしています。
Gaze estimation methods estimate gaze from facial appearance with a single camera. However, due to the limited view of a single camera, the captured facial appearance cannot provide complete facial information and thus complicate the gaze estimation problem. Recently, camera devices are rapidly updated. Dual cameras are affordable for users and have been integrated in many devices. This development suggests that we can further improve gaze estimation performance with dual-view gaze estimation. In this paper, we propose a dual-view gaze estimation network (DV-Gaze). DV-Gaze estimates dual-view gaze directions from a pair of images. We first propose a dual-view interactive convolution (DIC) block in DV-Gaze. DIC blocks exchange dual-view information during convolution in multiple feature scales. It fuses dual-view features along epipolar lines and compensates for the original feature with the fused feature. We further propose a dual-view transformer to estimate gaze from dual-view features. Camera poses are encoded to indicate the position information in the transformer. We also consider the geometric relation between dual-view gaze directions and propose a dual-view gaze consistency loss for DV-Gaze. DV-Gaze achieves state-of-the-art performance on ETH-XGaze and EVE datasets. Our experiments also prove the potential of dual-view gaze estimation. We release codes in https://github.com/yihuacheng/DVGaze.