arXiv reaDer
頭の姿勢情報と特徴の融合による3Dフェイスアライメント
3D Face Alignment Through Fusion of Head Pose Information and Features
人間が顔の形から頭のポーズを推測する能力、またはその逆の能力は、両者の間に強い相関関係があることを示しています。したがって、顔の位置合わせに関する最近の研究では、コンピューター ビジョン タスクで顔のランドマークを予測するために頭の姿勢情報が使用されています。この研究では、単に顔のランドマークを初期化するために頭姿勢情報を使用するのではなく、頭姿勢情報を顔位置合わせネットワークの特徴マップと融合することで、顔位置合わせのパフォーマンスを向上させる新しい方法を提案します。さらに、提案されたネットワーク構造は、2D 特徴マップと 3D ヒートマップで表される多次元特徴を使用した 2 次元ネットワークを通じて、堅牢な顔の位置合わせを実行します。効果的な密な顔の位置合わせのために、予測されたキーポイントを使用した知識蒸留に基づくトレーニングによる顔の幾何学的ランドマークの予測方法も提案します。予測された顔のランドマークと頭の姿勢情報の間の相関関係、および頭の姿勢情報の品質に対する顔のランドマークの精度の変動を実験的に評価しました。さらに、AFLW2000-3D、AFLW、BIWI データセットにおける最先端の手法との競合パフォーマンス比較を通じて、提案手法の有効性を実証しました。
The ability of humans to infer head poses from face shapes, and vice versa, indicates a strong correlation between the two. Accordingly, recent studies on face alignment have employed head pose information to predict facial landmarks in computer vision tasks. In this study, we propose a novel method that employs head pose information to improve face alignment performance by fusing said information with the feature maps of a face alignment network, rather than simply using it to initialize facial landmarks. Furthermore, the proposed network structure performs robust face alignment through a dual-dimensional network using multidimensional features represented by 2D feature maps and a 3D heatmap. For effective dense face alignment, we also propose a prediction method for facial geometric landmarks through training based on knowledge distillation using predicted keypoints. We experimentally assessed the correlation between the predicted facial landmarks and head pose information, as well as variations in the accuracy of facial landmarks with respect to the quality of head pose information. In addition, we demonstrated the effectiveness of the proposed method through a competitive performance comparison with state-of-the-art methods on the AFLW2000-3D, AFLW, and BIWI datasets.
updated: Fri Aug 25 2023 12:01:24 GMT+0000 (UTC)
published: Fri Aug 25 2023 12:01:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト