本論文では、回転行列内の3つのベクトルを頭の姿勢推定の表現として使用することを提案し、そのような表現の特性に基づいて新しいニューラルネットワークを開発します。現在の頭のポーズの推定作業に存在する2つの潜在的な問題に対処します。1。頭のポーズの推定用の公開データセットは、オイラー角またはクォータニオンのいずれかを使用してデータサンプルに注釈を付けます。ただし、これらの注釈は両方とも不連続性の問題があるため、ニューラルネットワークトレーニングでパフォーマンスの問題が発生する可能性があります。 2.ほとんどの研究では、パフォーマンスの測定値としてオイラー角の平均絶対誤差(MAE)が報告されています。特にプロファイルビューの場合、MAEが実際の動作を反映していない可能性があることを示します。これらの2つの問題を解決するために、3つのベクトルを使用して頭のポーズを記述する新しい注釈方法と、パフォーマンスを評価するための新しい測定ベクトルの平均絶対誤差(MAEV)を提案します。また、直交性の制約がある3つのベクトルを予測するために、新しいニューラルネットワークをトレーニングします。私たちが提案する方法は、AFLW2000とBIWIの両方のデータセットで最先端の結果を達成します。実験は、私たちのベクトルベースの注釈方法が大きなポーズ角度の予測誤差を効果的に減らすことができることを示しています。
This paper proposes to use the three vectors in a rotation matrix as the representation in head pose estimation and develops a new neural network based on the characteristic of such representation. We address two potential issues existed in current head pose estimation works: 1. Public datasets for head pose estimation use either Euler angles or quaternions to annotate data samples. However, both of these annotations have the issue of discontinuity and thus could result in some performance issues in neural network training. 2. Most research works report Mean Absolute Error (MAE) of Euler angles as the measurement of performance. We show that MAE may not reflect the actual behavior especially for the cases of profile views. To solve these two problems, we propose a new annotation method which uses three vectors to describe head poses and a new measurement Mean Absolute Error of Vectors (MAEV) to assess the performance. We also train a new neural network to predict the three vectors with the constraints of orthogonality. Our proposed method achieves state-of-the-art results on both AFLW2000 and BIWI datasets. Experiments show our vector-based annotation method can effectively reduce prediction errors for large pose angles.