性別や年齢などの保護された属性に関する視覚システムのバイアスを測定することは、これらのシステムが社会で広く使用されるようになるため、重要です。ただし、ベンチマークデータセットの属性間の有意な相関関係により、アルゴリズムのバイアスをデータセットのバイアスから分離することは困難です。バイアス分析中のこのような属性の交絡を軽減するために、保護された属性全体でバランスの取れた属性分布を持つ完全なデータセットから画像のサブセットを選択するマッチングアプローチを提案します。私たちのマッチングアプローチは、最初に、セマンティック属性を保持する方法で、実際の画像を生成的敵対的ネットワーク(GAN)の潜在空間に投影します。次に、選択した保護された属性全体でこの潜在空間内の画像の一致を検出し、保護された属性全体で意味属性と知覚属性のバランスが取れているデータセットを生成します。定性的、定量的、および人間の注釈実験を使用して、予測およびマッチング戦略を検証します。複数のオープンソースの顔認識分類子における性別バイアスのコンテキストでの作業を示し、マッチングによって主要な交絡因子を削除した後もバイアスが持続することを発見しました。ここで結果を再現し、メソッドを新しいデータに適用するためのコードとドキュメントは、https://github.com/csinva/matching-with-gansで入手できます。
Measuring biases of vision systems with respect to protected attributes like gender and age is critical as these systems gain widespread use in society. However, significant correlations between attributes in benchmark datasets make it difficult to separate algorithmic bias from dataset bias. To mitigate such attribute confounding during bias analysis, we propose a matching approach that selects a subset of images from the full dataset with balanced attribute distributions across protected attributes. Our matching approach first projects real images onto a generative adversarial network (GAN)'s latent space in a manner that preserves semantic attributes. It then finds image matches in this latent space across a chosen protected attribute, yielding a dataset where semantic and perceptual attributes are balanced across the protected attribute. We validate projection and matching strategies with qualitative, quantitative, and human annotation experiments. We demonstrate our work in the context of gender bias in multiple open-source facial-recognition classifiers and find that bias persists after removing key confounders via matching. Code and documentation to reproduce the results here and apply the methods to new data is available at https://github.com/csinva/matching-with-gans .