ディープラーニングの開始とトレーニングデータの広範な利用可能性により、学術および商業組織による顔認識アルゴリズムの開発は急速に成長しています。顔認識アルゴリズムのパフォーマンスのテストは、毎年のパフォーマンスの向上を示していますが、これらのシステムの多くのエラー率は、テストセットの人口統計学的構成に基づいて異なります。アルゴリズムのパフォーマンスにおけるこれらの「人口統計学的差異」は、特定のグループの人々に不平等または不公平な結果をもたらす可能性があり、顔認識システムの世界的な採用の増加に対する懸念を引き起こします。その結果、米国とヨーロッパの両方の規制機関は、「差別的影響」(欧州連合人工情報法)と「公平性」(米国連邦取引委員会)の生体認証システムの監査を要求する新しい規則を提案しました。ただし、生体認証システムの公平性を測定するための基準はまだ存在しません。この論文は、米国とヨーロッパの科学者から提案された顔認識アルゴリズムの公平性の2つの尺度(公平性の尺度)を特徴づけています。提案された両方の方法は、実際に一般的に経験されているように、分解された顔認識エラー率に適用された場合、解釈が難しいことがわかります。これに対処するために、顔認識アルゴリズムの公平性測定で望ましい一連のプロパティの概要を示す、機能的公平性測定基準(FFMC)と呼ばれる一連の解釈可能性基準を提案します。さらに、新しい公平性指標である生体認証のジニ集約率(GARBE)を開発し、パレート最適化と組み合わせて、この指標を使用して、精度/公平性のトレードスペースに基づいて代替アルゴリズムから選択する方法を示します。最後に、機械可読で人口統計学的に分解されたエラー率のデータセットをオープンソース化しました。これは現在、この種の最大のオープンソースデータセットであると信じています。
The development of face recognition algorithms by academic and commercial organizations is growing rapidly due to the onset of deep learning and the widespread availability of training data. Though tests of face recognition algorithm performance indicate yearly performance gains, error rates for many of these systems differ based on the demographic composition of the test set. These "demographic differentials" in algorithm performance can contribute to unequal or unfair outcomes for certain groups of people, raising concerns with increased worldwide adoption of face recognition systems. Consequently, regulatory bodies in both the United States and Europe have proposed new rules requiring audits of biometric systems for "discriminatory impacts" (European Union Artificial Intelligence Act) and "fairness" (U.S. Federal Trade Commission). However, no standard for measuring fairness in biometric systems yet exists. This paper characterizes two proposed measures of face recognition algorithm fairness (fairness measures) from scientists in the U.S. and Europe. We find that both proposed methods are challenging to interpret when applied to disaggregated face recognition error rates as they are commonly experienced in practice. To address this, we propose a set of interpretability criteria, termed the Functional Fairness Measure Criteria (FFMC), that outlines a set of properties desirable in a face recognition algorithm fairness measure. We further develop a new fairness measure, the Gini Aggregation Rate for Biometric Equitability (GARBE), and show how, in conjunction with the Pareto optimization, this measure can be used to select among alternative algorithms based on the accuracy/fairness trade-space. Finally, we have open-sourced our dataset of machine-readable, demographically disaggregated error rates. We believe this is currently the largest open-source dataset of its kind.