最近の多くの研究では、顔の分析技術における偏見の深刻な懸念が明らかになり、議論されており、知覚された性別、肌のタイプ、照明条件などに基づいて人々のグループ間のパフォーマンスの格差が見つかりました。これらの監査は非常に重要であり、アルゴリズムの偏りを測定するのに成功していますが、2つあります。主な課題:監査では、(1)LFWやCelebAなどの質の高いメタデータが不足している顔認識データセットを使用し、(2)観察されたアルゴリズムバイアスを人間の代替バイアスと比較しません。このホワイトペーパーでは、LFWおよびCelebAデータセットの改善をリリースします。これにより、将来の研究者は、データセットの主要な欠陥(ギャラリーとテストセットの両方に表示される同一の画像など)に汚染されていないアルゴリズムバイアスの測定値を取得できます。また、これらの新しいデータを使用して、さまざまなアルゴリズムと人間のレビュー担当者の大規模でバランスの取れたサンプルに適用した一連の挑戦的な顔の識別と検証の質問を作成します。コンピューターモデルと人間の調査参加者の両方が検証タスクで大幅にパフォーマンスが向上し、一般に両方のタスクで浅黒い肌または女性の被験者の精度が低くなり、人口統計が質問の人口統計と一致する場合に高い精度が得られることがわかりました。コンピューターモデルは、両方のタスクで調査参加者よりも高いレベルの精度を達成し、人間の調査参加者と同程度のバイアスを示すことが観察されています。
Much recent research has uncovered and discussed serious concerns of bias in facial analysis technologies, finding performance disparities between groups of people based on perceived gender, skin type, lighting condition, etc. These audits are immensely important and successful at measuring algorithmic bias but have two major challenges: the audits (1) use facial recognition datasets which lack quality metadata, like LFW and CelebA, and (2) do not compare their observed algorithmic bias to the biases of their human alternatives. In this paper, we release improvements to the LFW and CelebA datasets which will enable future researchers to obtain measurements of algorithmic bias that are not tainted by major flaws in the dataset (e.g. identical images appearing in both the gallery and test set). We also use these new data to develop a series of challenging facial identification and verification questions that we administered to various algorithms and a large, balanced sample of human reviewers. We find that both computer models and human survey participants perform significantly better at the verification task, generally obtain lower accuracy rates on dark-skinned or female subjects for both tasks, and obtain higher accuracy rates when their demographics match that of the question. Computer models are observed to achieve a higher level of accuracy than the survey participants on both tasks and exhibit bias to similar degrees as the human survey participants.