arXiv reaDer
フルフェイスの外観ベースの3D視線推定のための小説ビュー合成による学習
Learning-by-Novel-View-Synthesis for Full-Face Appearance-based 3D Gaze Estimation
外観ベースの視線推定技術の最近の進歩にもかかわらず、ターゲットの頭のポーズと視線の分布をカバーするトレーニングデータの必要性は、実際の展開にとって依然として重要な課題です。この作業では、単眼3D顔再構成に基づく視線推定トレーニングデータを合成するための新しいアプローチを検討します。マルチビュー再構成、フォトリアリスティックCGモデル、または生成ニューラルネットワークを使用した以前の作業とは異なり、私たちのアプローチでは、追加の要件なしに、既存のトレーニングデータの頭のポーズ範囲を操作および拡張できます。再構成された3D顔メッシュをカメラ座標系に位置合わせし、正確な注視ラベルを使用して顔画像を合成するための射影マッチング手順を紹介します。また、合成トレーニングデータを利用して推定精度をさらに向上させるために、マスク誘導視線推定モデルとデータ拡張戦略を提案します。複数の公開データセットを使用した実験は、私たちのアプローチが、重複しない視線分布を持つ挑戦的なクロスデータセット設定での推定パフォーマンスを大幅に改善できることを示しています。
Despite recent advances in appearance-based gaze estimation techniques, the need for training data that covers the target head pose and gaze distribution remains a crucial challenge for practical deployment. This work examines a novel approach for synthesizing gaze estimation training data based on monocular 3D face reconstruction. Unlike prior works using multi-view reconstruction, photo-realistic CG models, or generative neural networks, our approach can manipulate and extend the head pose range of existing training data without any additional requirements. We introduce a projective matching procedure to align the reconstructed 3D facial mesh to the camera coordinate system and synthesize face images with accurate gaze labels. We also propose a mask-guided gaze estimation model and data augmentation strategies to further improve the estimation accuracy by taking advantage of the synthetic training data. Experiments using multiple public datasets show that our approach can significantly improve the estimation performance on challenging cross-dataset settings with non-overlapping gaze distributions.
updated: Sun Jan 23 2022 06:54:22 GMT+0000 (UTC)
published: Thu Jan 20 2022 00:29:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト