人口統計グループ間の顔認識精度の格差の問題は、近年ますます注目を集めています。さまざまな顔画像データセットが、人口統計全体の顔認識アルゴリズムの精度を評価するために「公正」または「バランス」として提案されています。これらのデータセットは、多くの場合、人口統計グループ間でアイデンティティと画像の数のバランスをとっています。評価データセット内の ID と画像の数は、1 対 1 の顔照合の精度を左右する要因ではないことに注意することが重要です。さらに、ID と画像の数のバランスを取っても、頭の姿勢、明るさ、画質など、精度に影響を与えることが知られている他の要因のバランスは保証されません。最近提案されたいくつかのデータセットを使用して、これらの問題を示します。偏りの少ない評価の能力を高めるために、この論文で言及されている要因でバランスの取れたクロス人口統計学的評価データセットの作成を容易にするバイアス認識ツールキットを提案します。
The issue of disparities in face recognition accuracy across demographic groups has attracted increasing attention in recent years. Various face image datasets have been proposed as 'fair' or 'balanced' to assess the accuracy of face recognition algorithms across demographics. While these datasets often balance the number of identities and images across demographic groups. It is important to note that the number of identities and images in an evaluation dataset are not the driving factors for 1-to-1 face matching accuracy. Moreover, balancing the number of identities and images does not ensure balance in other factors known to impact accuracy, such as head pose, brightness, and image quality. We demonstrate these issues using several recently proposed datasets. To enhance the capacity for less biased evaluations, we propose a bias-aware toolkit that facilitates the creation of cross-demographic evaluation datasets balanced on factors mentioned in this paper.