顔検出および分析システムは、過去10年間、大企業によって展開され、学者や活動家によって批判されてきました。システムのパフォーマンスに焦点を当てた批評では、システムの出力の不一致、つまり、さまざまなフィッツパトリックの肌タイプまたは認識された性別で顔が検出される頻度を分析します。ただし、ノイズの多い自然摂動下でのこれらのシステム出力の堅牢性に焦点を当てています。 Amazon Rekognition、Microsoft Azure、Google CloudPlatformの3つのシステムの堅牢性に関する最初の詳細なベンチマークを紹介します。標準および最近リリースされた学術顔データセットの両方を使用して、それぞれの堅牢性の傾向を定量的に分析します。すべてのデータセットとシステムで、一般的に、年配の男性的な表現、肌の色が濃い、または照明が暗い個人の写真は、他のIDの写真よりもエラーの影響を受けやすいことがわかります。
Facial detection and analysis systems have been deployed by large companies and critiqued by scholars and activists for the past decade. Critiques that focus on system performance analyze disparity of the system's output, i.e., how frequently is a face detected for different Fitzpatrick skin types or perceived genders. However, we focus on the robustness of these system outputs under noisy natural perturbations. We present the first of its kind detailed benchmark of the robustness of three such systems: Amazon Rekognition, Microsoft Azure, and Google Cloud Platform. We use both standard and recently released academic facial datasets to quantitatively analyze trends in robustness for each. Across all the datasets and systems, we generally find that photos of individuals who are older, masculine presenting, of darker skin type, or have dim lighting are more susceptible to errors than their counterparts in other identities.