arXiv reaDer
顔全体に書かれている:顔全体の外観に基づく視線推定
It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation
視線は、人間の影響を分析するための重要な非言語的手がかりです。最近の視線推定研究では、顔全体の領域からの情報がパフォーマンスに役立つことが示されました。このアイデアをさらに推し進めて、顔全体の画像のみを入力として受け取る外観ベースの方法を提案します。私たちの方法は、さまざまな顔領域の情報を柔軟に抑制または強化するために、特徴マップに適用された空間的重みを持つ畳み込みニューラル ネットワークを使用して顔画像をエンコードします。広範な評価を通じて、私たちのフルフェイス法は、2D と 3D の両方の視線推定で最先端技術を大幅に上回り、人に依存しない 3D 視線推定で MPIIGaze で最大 14.3%、EYEDIAP で最大 27.7% の改善を達成することを示しています。さらに、この改善はさまざまな照明条件と視線方向で一貫しており、特に最も困難な極端な頭のポーズで顕著であることを示しています。
Eye gaze is an important non-verbal cue for human affect analysis. Recent gaze estimation work indicated that information from the full face region can benefit performance. Pushing this idea further, we propose an appearance-based method that, in contrast to a long-standing line of work in computer vision, only takes the full face image as input. Our method encodes the face image using a convolutional neural network with spatial weights applied on the feature maps to flexibly suppress or enhance information in different facial regions. Through extensive evaluation, we show that our full-face method significantly outperforms the state of the art for both 2D and 3D gaze estimation, achieving improvements of up to 14.3% on MPIIGaze and 27.7% on EYEDIAP for person-independent 3D gaze estimation. We further show that this improvement is consistent across different illumination conditions and gaze directions and particularly pronounced for the most challenging extreme head poses.
updated: Tue May 16 2023 10:00:49 GMT+0000 (UTC)
published: Sun Nov 27 2016 15:00:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト